Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Як проводити експерименти з аудиторією для зростання продукту

Дмитро Сатановський
Дмитро Сатановський Head of CRM, Uklon
30 травня 2024 9 хвилин читання

Кожен бізнес та продукт шукає зони зростання. Це може бути покращення функціоналу, зручності користування або робота з аудиторією. Я розповім, як проводити маркетингові експерименти в CRM для зростання продукту та бізнес-показників.

Уявімо, що ви бренд, який має доволі велику клієнтську базу та сегментував її. Проте аудиторія змінюється, технології покращуються, зʼявляються нові продукти та процеси. Як перевірити, чи ідея спрацює та принесе бажаний ефект?

Можна одразу її впровадити, проте, коли почнете вимірювати результат, ймовірно, ви не все врахуєте — перетин аудиторій, метрики, які потрібно було заміряти, та очікуваний ефект. Як наслідок, витрачений час, кошти та, можливо, розчарування аудиторії та команди. Краще спочатку провалідувати ідею та провести експеримент. Ось короткий гайд, як це зробити.

Як проводити експерименти з аудиторією для зростання продукту Як проводити експерименти з аудиторією для зростання продукту

Сформулюйте гіпотези та визначте проблематику

Класично будь-який експеримент починається з формулювання гіпотез та певної проблематики. Як правило, ці гіпотези зʼявляються або як ідея когось з команди як можна щось покращити чи додати нове, або на основі звітів є просідання метрик і ви бачите зони росту. Приклад гіпотези: чи будуть клієнти краще замовляти клас універсал, якщо, ми надішлемо їм знижку на цей клас авто в той момент, коли вони в будівельному магазині?

Далі, перед тим як йти розробляти дизайн експерименту, потрібно провести дослідження на основі гіпотез, щоб визначити проблематику. Іншими словами, щоб зрозуміти чи є в цій ідеї сенс та чи варто впроваджувати експеримент.

Це можна зробити на основі існуючих звітів, а якщо цього недостатньо, сформувати ТЗ для аналітиків. В деяких випадках метрики десь на поверхні, і це можна побачити в аналітичних звітах для різних продуктів в розрізі міст, використання певної фічі тощо. Тут немає єдиного рецепта – все залежить від ваших гіпотез та наявних даних. 

Якщо ідея підтверджується на основі статистичних даних та причинно-наслідкових зв'язків різних факторів, отримуємо більш детальну проблематику та починаємо дизайн експерименту.

Так ми виявили, що клієнти обирають інший клас авто, не враховуючи фактор перевезення великогабаритних речей, а це може призвести до скасування зі сторони водія (бойлер не зручно везти в салоні авто). Відповідно, наша мета – збільшення кількості замовлень цільового продукту та покращення клієнтського досвіду.

Зробіть дизайн експерименту

Важливо спочатку все максимально продумати, а далі реалізовувати. Тут ви маєте визначити всі параметри експерименту – мету, розмір вибірки, період проведення, геолокації, параметри цільової аудиторії, крос-чек параметри, який метод оцінювання результатів, канали комунікацій, офери для клієнтів (якщо це монетарна історія) та очікуваний бюджет. 

Це важливий етап, який дає можливість провести максимально “чистий” експеримент, враховуючи всі фактори та вхідні дані. Адже в іншому випадку можуть сформуватись хибні уявлення про результати та причинно-наслідкові звʼязки.

Окремо виділимо таку складову експерименту як розмір вибірки, яка визначається залежно від цільової аудиторії, методу оцінки та самої мети експерименту. Це потрібно для того, щоб експеримент був статистично значущий в рамках гіпотези, і щоб висновки були релевантні. Ми ці дані отримуємо від аналітиків, але існують різні формули визначення обсягу вибірки.

Підписуйтеся на наші соцмережі

Вибірка має бути розділена на дві групи – цільова та контрольна. Порівняння результатів з контрольною групою дає можливість виміряти чи дійсно ця пропозиція дала ефект та чи щось змінилось саме під вашим впливом або ні. З контрольною групою нічого не відбувається, тобто це та сама частина вибірки клієнтів, але з нею не відбувається жодних взаємодій.

Розмір контрольної групи має бути таким, який в період дії експерименту має незначний вплив на ключові метрики бізнесу. До прикладу, для активної аудиторії достатньо і 10%, для менш активної може бути і 50% від всієї вибірки.

Визначте дуже чітко критерії по аудиторії

Для чистоти експерименту потрібно максимально виключити вплив зовнішніх факторів та зробити релевантну вибірку.

Що можна зробити:

  • виключити маркетингові нотифікації клієнту;
  • вибрати максимальну однорідну аудиторію (параметри клієнта).
  • подивитися, чи не має у вашій вибірці перехрестя з іншими сегментами та експериментами. Адже кожне перетинання може впливати на результат експерименту. Наприклад, якщо є перетинання, клієнт може отримати дві промо кампанії та просто обрати ту, де краща пропозиція, але це нічого не говорить про сам експеримент.

Сформулюйте ціннісну пропозицію для клієнта

Чітко визначте механіку, що ви будете пропонувати, якщо це про знижки – на які продукти, сервіси, в якій локації, які умови тощо. Для нас механіки часто повʼязані з промокодами на різні класи авто або на послуги доставки.

Оберіть канали комунікації в рамках експерименту 

Це мають бути ті ж канали, якими ви потім будете користуватись, якщо впровадите цю практику в життя. Наприклад, ми, залежно від сегмента, використовуємо максимально можливий варіант омніканальності, використовуючи каскадну історію комунікації.

Йдемо від дешевших до дорожчих каналів комунікації. Чим складніший профайл та давність клієнта, тим більше каналів взаємодії, щоб до нього достукатися, підвищити рівень контактності.

Тобто, якщо клієнт давно з нами не їздив, використовуємо максимальну омніканальність. Якщо відносно нещодавно користувався сервісом, тоді тільки пуш та сторіз в застосунку. Завдяки цій схемі комунікацій контактність з такими клієнтами сягає понад 80%, адже ми намагаємось достукатись всіма можливими каналами.

Визначте метрику, яку ви будете використовувати для виміру експерименту 

Залежно від мети експерименту, це має бути один, найбільш релевантний показник. Звісно, подекуди буває і декілька метрик, але тут варто бути обачним, адже чим більше метрик, тим більша ймовірність похибки. Наприклад, серед метрик може бути churn/retention rate, Conversion rate in action, active users тощо.

Тут можна використати A/B та A/B/С тестування, які дають можливість оцінити реальний вплив експерименту на метрику. Також можна заміряти результат так – період до та після експерименту, але тут важливо, що в нашій сфері бізнесу порівняння з минулими періодами не завжди доцільні, оскільки може бути багато факторів впливу (погодні умови, затори, святкові дні), що може кардинально впливати на експеримент.

Виставте очікування

Це дуже важливий крок, адже на основі його ви не тільки порахуєте бюджет на впровадження експерименту, а і зможете оцінити чи доцільні інвестиції в цей експеримент. Наприклад, ми дивимось який в Retention rate зараз та скільки витрачаємо коштів, щоб його підтримувати. Виставляємо очікування на скільки % він збільшиться від нашого експерименту та яким коштом. Якщо збільшення бюджету як мінімум пропорційно росту метрики, тоді є сенс в це інвестувати. Але це ми дізнаємось за результатами експерименту.

Нарешті запускаємо експеримент

Як проводити експерименти з аудиторією для росту продукту Як проводити експерименти з аудиторією для росту продукту

Підсумки та оцінка результату

Тут потрібно оцінити яких результатів отримали за який бюджет, чи було це ефективно. Бо умовно можна досягти очікуваного результату, але витратити на це бюджету більше, ніж планували та більше, ніж ця ініціатива принесе прибутку.

Також на цьому етапі перевіряємо разом з аналітичною командою чи досягнули ми статистичною значимості. Це дуже важливий етап, адже він показує чи можна довіряти цим висновкам, навіть якщо вони були дуже успішними.

До кожної сесії експерименту варто підготувати проміжні звіти – це не тільки покаже як пройшли експерименти, чи успішно, а й може стати джерелом різних неочікуваних інсайтів. Це можуть бути ad-hoc звіти чи автоматизовані дашборди в аналітичних системах.

Оцініть сам експеримент — успішний, ні або потрібен повтор?

Якщо успішний, то запускаємо маркетингову CRM кампанію. Ми, наприклад, коли бачимо, що є великий потенціал ініціативи, навіть запускаємо її ad-hoc в ручному форматі, допоки йде процес автоматизації. Далі, постійно переглядаємо бізнес-показники і можемо, за потреби, запустити повторно. 

Повторюємо експеримент, коли не досягли статистичної значимості або коли в ході експерименту нічого суттєвого не відбулось, не змінились метрики, але ви бачите потенціал та вірите в ідею. В такому випадку є сенс запустити новий дизайн експерименту, змінити ціннісні пропозиції або змінити аудиторію.

Потенціал для розвитку та наступні кроки

Експерименти — це завжди замкнене коло і є потенціал для покращення кожного процесу. Якщо ви бачите, що в чинній CRM кампанії є потенціал для покращення, то можна знову запустити експеримент і оптимізувати, впровадити кастомізовані сценарії тощо. В результаті можна отримати новий сегмент аудиторії або декілька. Клієнти та їх потреби дуже динамічні, тому це постійний процес трансформації постійних маркетингових CRM-активностей, що приносили крутий результат вчора, але вже завтра можуть не працювати як того очікуєш.

Підписуйтеся на наші соцмережі

Якщо ви хочете поділитися з читачами SPEKA власним досвідом, розповісти свою історію чи опублікувати колонку на важливу для вас тему, долучайтеся. Відтепер ви можете зареєструватися на сайті SPEKA і самостійно опублікувати свій пост.
50 UAH 150 UAH 500 UAH 1000 UAH 3000 UAH 5000 UAH
0
Прокоментувати
Інші матеріали

Дизайн дитячого простору: середовище, яке виховує та надихає

Алеся Карнаухова 18 липня 2024 12:28

Інклюзивність в iOS: як забезпечити доступність для користувачів з обмеженими можливостями

Vladyslav Khambir 17 липня 2024 16:40

ФОП-платник ЄП надає послуги з оплатою їх лише через інтернет за допомогою платіжного сервісу: чи застосовувати ПРРО/РРО?

Inna Sharova 16 липня 2024 14:16

Від контенту до конверсії: перфоманс-маркетинг для IT-бізнесу

Viktor Gozhyi 16 липня 2024 10:21

Як підвищити лояльність клієнтів та залучити нових за допомогою SERM? Кейс Netpeak у ніші біодобавок

Андрій Тарасенко 15 липня 2024 21:23