Як проводити експерименти з аудиторією для зростання продукту
Уявімо, що ви бренд, який має доволі велику клієнтську базу та сегментував її. Проте аудиторія змінюється, технології покращуються, зʼявляються нові продукти та процеси. Як перевірити, чи ідея спрацює та принесе бажаний ефект?
Можна одразу її впровадити, проте, коли почнете вимірювати результат, ймовірно, ви не все врахуєте — перетин аудиторій, метрики, які потрібно було заміряти, та очікуваний ефект. Як наслідок, витрачений час, кошти та, можливо, розчарування аудиторії та команди. Краще спочатку провалідувати ідею та провести експеримент. Ось короткий гайд, як це зробити.
Сформулюйте гіпотези та визначте проблематику
Класично будь-який експеримент починається з формулювання гіпотез та певної проблематики. Як правило, ці гіпотези зʼявляються або як ідея когось з команди як можна щось покращити чи додати нове, або на основі звітів є просідання метрик і ви бачите зони росту. Приклад гіпотези: чи будуть клієнти краще замовляти клас універсал, якщо, ми надішлемо їм знижку на цей клас авто в той момент, коли вони в будівельному магазині?
Далі, перед тим як йти розробляти дизайн експерименту, потрібно провести дослідження на основі гіпотез, щоб визначити проблематику. Іншими словами, щоб зрозуміти чи є в цій ідеї сенс та чи варто впроваджувати експеримент.
Якщо ідея підтверджується на основі статистичних даних та причинно-наслідкових зв'язків різних факторів, отримуємо більш детальну проблематику та починаємо дизайн експерименту.
Так ми виявили, що клієнти обирають інший клас авто, не враховуючи фактор перевезення великогабаритних речей, а це може призвести до скасування зі сторони водія (бойлер не зручно везти в салоні авто). Відповідно, наша мета – збільшення кількості замовлень цільового продукту та покращення клієнтського досвіду.
Зробіть дизайн експерименту
Важливо спочатку все максимально продумати, а далі реалізовувати. Тут ви маєте визначити всі параметри експерименту – мету, розмір вибірки, період проведення, геолокації, параметри цільової аудиторії, крос-чек параметри, який метод оцінювання результатів, канали комунікацій, офери для клієнтів (якщо це монетарна історія) та очікуваний бюджет.
Це важливий етап, який дає можливість провести максимально “чистий” експеримент, враховуючи всі фактори та вхідні дані. Адже в іншому випадку можуть сформуватись хибні уявлення про результати та причинно-наслідкові звʼязки.
Вибірка має бути розділена на дві групи – цільова та контрольна. Порівняння результатів з контрольною групою дає можливість виміряти чи дійсно ця пропозиція дала ефект та чи щось змінилось саме під вашим впливом або ні. З контрольною групою нічого не відбувається, тобто це та сама частина вибірки клієнтів, але з нею не відбувається жодних взаємодій.
Розмір контрольної групи має бути таким, який в період дії експерименту має незначний вплив на ключові метрики бізнесу. До прикладу, для активної аудиторії достатньо і 10%, для менш активної може бути і 50% від всієї вибірки.
Визначте дуже чітко критерії по аудиторії
Для чистоти експерименту потрібно максимально виключити вплив зовнішніх факторів та зробити релевантну вибірку.
Що можна зробити:
- виключити маркетингові нотифікації клієнту;
- вибрати максимальну однорідну аудиторію (параметри клієнта).
-
подивитися, чи не має у вашій вибірці перехрестя з іншими сегментами та експериментами. Адже кожне перетинання може впливати на результат експерименту. Наприклад, якщо є перетинання, клієнт може отримати дві промо кампанії та просто обрати ту, де краща пропозиція, але це нічого не говорить про сам експеримент.
Сформулюйте ціннісну пропозицію для клієнта
Чітко визначте механіку, що ви будете пропонувати, якщо це про знижки – на які продукти, сервіси, в якій локації, які умови тощо. Для нас механіки часто повʼязані з промокодами на різні класи авто або на послуги доставки.
Оберіть канали комунікації в рамках експерименту
Це мають бути ті ж канали, якими ви потім будете користуватись, якщо впровадите цю практику в життя. Наприклад, ми, залежно від сегмента, використовуємо максимально можливий варіант омніканальності, використовуючи каскадну історію комунікації.
Йдемо від дешевших до дорожчих каналів комунікації. Чим складніший профайл та давність клієнта, тим більше каналів взаємодії, щоб до нього достукатися, підвищити рівень контактності.
Тобто, якщо клієнт давно з нами не їздив, використовуємо максимальну омніканальність. Якщо відносно нещодавно користувався сервісом, тоді тільки пуш та сторіз в застосунку. Завдяки цій схемі комунікацій контактність з такими клієнтами сягає понад 80%, адже ми намагаємось достукатись всіма можливими каналами.
Визначте метрику, яку ви будете використовувати для виміру експерименту
Залежно від мети експерименту, це має бути один, найбільш релевантний показник. Звісно, подекуди буває і декілька метрик, але тут варто бути обачним, адже чим більше метрик, тим більша ймовірність похибки. Наприклад, серед метрик може бути churn/retention rate, Conversion rate in action, active users тощо.
Виставте очікування
Це дуже важливий крок, адже на основі його ви не тільки порахуєте бюджет на впровадження експерименту, а і зможете оцінити чи доцільні інвестиції в цей експеримент. Наприклад, ми дивимось який в Retention rate зараз та скільки витрачаємо коштів, щоб його підтримувати. Виставляємо очікування на скільки % він збільшиться від нашого експерименту та яким коштом. Якщо збільшення бюджету як мінімум пропорційно росту метрики, тоді є сенс в це інвестувати. Але це ми дізнаємось за результатами експерименту.
Нарешті запускаємо експеримент
Підсумки та оцінка результату
Тут потрібно оцінити яких результатів отримали за який бюджет, чи було це ефективно. Бо умовно можна досягти очікуваного результату, але витратити на це бюджету більше, ніж планували та більше, ніж ця ініціатива принесе прибутку.
Також на цьому етапі перевіряємо разом з аналітичною командою чи досягнули ми статистичною значимості. Це дуже важливий етап, адже він показує чи можна довіряти цим висновкам, навіть якщо вони були дуже успішними.
До кожної сесії експерименту варто підготувати проміжні звіти – це не тільки покаже як пройшли експерименти, чи успішно, а й може стати джерелом різних неочікуваних інсайтів. Це можуть бути ad-hoc звіти чи автоматизовані дашборди в аналітичних системах.
Оцініть сам експеримент — успішний, ні або потрібен повтор?
Якщо успішний, то запускаємо маркетингову CRM кампанію. Ми, наприклад, коли бачимо, що є великий потенціал ініціативи, навіть запускаємо її ad-hoc в ручному форматі, допоки йде процес автоматизації. Далі, постійно переглядаємо бізнес-показники і можемо, за потреби, запустити повторно.
Повторюємо експеримент, коли не досягли статистичної значимості або коли в ході експерименту нічого суттєвого не відбулось, не змінились метрики, але ви бачите потенціал та вірите в ідею. В такому випадку є сенс запустити новий дизайн експерименту, змінити ціннісні пропозиції або змінити аудиторію.
Потенціал для розвитку та наступні кроки
Експерименти — це завжди замкнене коло і є потенціал для покращення кожного процесу. Якщо ви бачите, що в чинній CRM кампанії є потенціал для покращення, то можна знову запустити експеримент і оптимізувати, впровадити кастомізовані сценарії тощо. В результаті можна отримати новий сегмент аудиторії або декілька. Клієнти та їх потреби дуже динамічні, тому це постійний процес трансформації постійних маркетингових CRM-активностей, що приносили крутий результат вчора, але вже завтра можуть не працювати як того очікуєш.
