Опубліковано Січ 19 • Оновлено Берез 26

Експерименти та валідація гіпотез у створенні продуктів (на прикладі цифрового банку)

У цій статті ми розглянемо процес тестування гіпотез, що допоможе вам прискорити розвиток та забезпечить успіх вашого продукту. Візьмемо за приклад цифровий банк і розкажемо, як ефективно формулювати, тестувати та перевіряти гіпотези.

Покроково розберемо процес:

Чому важливо формулювати та тестувати гіпотези продукту
Як складати ефективні гіпотези
Які експерименти можна використовувати
Як використовувати результати експериментів для покращення продукту

Сила тестування

Коли ви створюєте продукт, у вас зазвичай є багато ідей. Але важливо пам’ятати, що:

Будь-яка ідея чи інформація є лише гіпотезою, доки її не буде перевірено та підтверджено в реальному світі. Навіть якщо вона походить з авторитетного джерела, вона досі не є фактом.

Будувати продукт на припущеннях — як ризикована прогулянка по канату без засобів безпеки. Так само, як невдалий крок на канаті може призвести до падіння, дії на підставі необґрунтованих припущень можуть призвести до серйозних проблем.

Щоб створити продукт, який дійсно відповідає потребам користувачів і ринку, не можна діяти за своєю уявою — ціна помилки може бути занадто високою. Так що ж робити у цьому випадку? Розуміння цільової аудиторії та проведення експериментів для перевірки продуктових гіпотез є необхідною частиною розробки. Це дозволяє командам приймати більш обґрунтовані рішення щодо створення і вдосконалення своїх продуктів.

Як це допомагає:

Зменшення ризику: Проведення тестування гіпотез допомагає продуктовим командам знизити ризик запуску продукту чи функціоналу, які не вразять користувачів або не відповідатимуть бізнес-цілям.
Прийняття рішень на основі даних: Дозволяє приймати рішення на основі об’єктивних даних, а не інтуїції чи відчуття.
Підвищення ефективності: Допомагає уникнути розробки непотрібного функціоналу. Допомагає виявити та виправити проблеми на ранній стадії, перш ніж вони стануть дорогими або складними для вирішення.
Стимулювання інновацій: Заохочує продуктові команди експериментувати з новими ідеями та підходами.

Огляд процесу

Написання та тестування продуктових гіпотез — це потужний інструмент, що допомагає приймати кращі рішення для вашого продукту. Якщо ви витратите час на тестування своїх ідей, зможете зменшити ризики і збільшити шанси на успіх.

Отже, ось так виглядає загальний процес:

Зберіть свої гіпотези: Які ключові припущення ви маєте щодо вашого продукту, послуги чи ринку?
Визначте важливість припущень: Розташуйте свої припущення за важливістю. Деякі можуть мати більший вплив на ваш бізнес, якщо їх спростувати.
Розробіть тести: Оберіть тест за допомогою якого зможете підтвердити або спростувати вашу гіпотезу. Характер тесту залежатиме від самої гіпотези. Під час планування експериментів визначте чіткі показники та критерії успіху –це дозволить вам об’єктивно оцінити дані.
Проведіть тести: Коли план тесту готовий, запускайте його.
Проаналізуйте результати та зробіть висновки: Після отримання даних ретельно аналізуйте їх, щоб визначити, чи підтверджують вони вашу гіпотезу. На основі результатів розробіть план подальших дій.

Збір гіпотез

Хороші ідеї виникають завдяки уважним спостереженням. Щоб забезпечити постійний розвиток вашого продукту та інновацій, необхідно виявляти проблеми, які є варті вирішення.

Отже, ось кілька джерел, де можна знаходити ідеї для свого продукту чи послуги:

Результати дослідження ринку: Допоможуть розуміти тенденції ринку та мінливі потреби споживачів. Це сприятиме проактивній адаптації та інноваціям.
Аналіз конкурентів: Розуміння того, що ваші конкуренти роблять правильно чи неправильно, допоможе вам знайти власний шлях для розвитку продукту.
Інтерв’ю з клієнтами: Допоможуть отримати уявлення про поведінку та вподобання користувачів, а також зрозуміти їхні потреби та проблеми.
Ідеї від команди підтримки: Співробітники служби підтримки постійно взаємодіють з клієнтами і можуть надати вам цінну інформацію про їхні проблеми.
Ідеї когось із команди розробки: Не забувайте, що ваші колеги можуть мати власні цікаві ідеї. Заохочуйте їх ділитися своїми думками.
Мозковий штурм: Залучайте широке коло людей до мозкового штурму, щоб отримати різноманітні точки зору.

Гіпотези мають ґрунтуватися на глибокому розумінні цільової аудиторії. Чим краще команда підготовлена та дослідила аудиторію за допомогою якісних методів (інтерв’ю, спостереження, дослідження щоденників ітд.), тим кращими будуть гіпотези та експерименти, які принесуть цінність.

Приклад

Уявімо, що перед нашою командою стоїть завдання: як можемо збільшити зацікавленість у використанні ощадного рахунку через наш мобільний додаток банку? На початку ми провели серію інтерв’ю з нашими клієнтами, щоб ліпше зрозуміти їхні потреби та проблеми. За результатами обговорення, ми винайшли кілька ідей про можливі нові функції, які можуть бути корисними.

Потім ми занесли всі наші ідеї в базу даних Notion — центральний пункт для зберігання та відстеження продуктових гіпотез. Це дає нам можливість легко контролювати прогрес, організовувати беклог і сортувати гіпотези за допомогою зручних тегів. Notion — це живий документ, постійно оновлюваний, і він є важливим ресурсом для нашої команди.

Розстановка пріоритетів

Після того, як ми вже вигадали чимало гіпотез, виникає питання: як визначити, які з них тестувати першими? Тут на допомогу приходить процес пріоритетизації.

Пріоритизація гіпотез означає їхнє упорядкування відповідно до того, наскільки вони важливі для вашого бізнесу та наскільки ризиковані для перевірки.

RICE

Одним із популярних методів є використання фреймворку RICE. RICE означає Reach (охоплення), Impact (вплив), Confidence (впевненість) і Effort (зусилля).

Reach: скільки людей буде залучено протягом певного періоду часу?
Impact: наскільки ця гіпотеза вплине на ваш бізнес, якщо її буде доведено? (Масивний = 3x, високий = 2x, середній = 1x, низький = 0,5x, мінімальний = 0,25x.)
Confidence: Наскільки ви впевнені, що ця гіпотеза правдива? (Високий = 100%, середній = 80%, низький = 50%.)
Effort: скільки зусиль буде потрібно для перевірки цієї гіпотези? (Зусилля оцінюється як кількість «людино-місяців»)

Оцінивши всі фактори, використовуйте цю формулу:

Після того, як ми оцінили кожну гіпотезу з урахуванням цих факторів, ми можемо розташувати їх в порядку важливості. Гіпотези з найвищими балами стають нашими першочерговими кандидатами для перевірки.

...

У нашому випадку переміг фінансовий калькулятор. Це готове рішення, тому ми зможемо його швидко запустити і принести користь нашим клієнтам.

Hypothesis Prioritization Canvas

Іншим популярним методом встановлення пріоритетів є використання Hypothesis Prioritization Canvas. Це проста матриця 2x2 з ризиком на осі x і передбачувальною цінністю на осі у.

Ризик: наскільки ризиковано перевірити цю гіпотезу?
Передбачувана цінність: яку цінність ця гіпотеза додасть вашому бізнесу, якщо вона підтвердиться?

Розмістіть свої гіпотези на канві на основі їхнього ризику та передбачувальної цінності.

Проєктування тесту

Гаразд, ми вибрали ідею. Тепер настав час уточнити її та вибрати тест для перевірки.

Щоб ефективно працювати з гіпотезами, використовуйте фреймворк SMART.

Після уточнення ідею слід задокументувати у такому форматі:

Ідея: Чіткий і лаконічний виклад гіпотези, що перевіряється.
Тест: Конкретний метод або підхід, який використовується для перевірки гіпотези.
Метрика: Які дані ви збираєтеся вимірювати.
Критерії успіху: Параметр для оцінки успішності чи неуспішності гіпотези.
Дати виконання: Дата початку та закінчення тесту та загальний необхідний час.
Власник: Особа, відповідальна за проведення тесту.
Дата створення: Дата, коли ідея була вперше задокументована.

Цей формат забезпечує чіткий і стислий спосіб документування ідей і тестів, полегшує комунікацію та відстеження прогресу.

Методи тестування

Існує безліч різних способів перевірки гіпотез, і вибір конкретного залежить від характеру гіпотези, вашого бюджету, обмежень часу та потреби в точних результатах. Якщо вам цікаво дізнатись докладніше про те, як найкраще обрати метод тестування, перегляньте мою статтю Як обрати метод для тестування продуктових гіпотез: Практичний гайд

Нижче наведено кілька найпоширеніших методів для перевірки цифрових продуктів:

A/B тестування: Створення двох різних версій продукту для випадкового відображення користувачам з метою визначення, яка версія краще відповідає їхнім потребам. Ідеально підходить для оцінки різних дизайнерських ідей і функціоналу.
Аналітика: Збір даних про використання вашого продукту користувачами. Допомагає визначити тенденції та моделі поведінки, які допомагають у прийнятті обґрунтованих рішень.
Юзабіліті-тестування: Спостереження за користувачами в процесі використання продукту для оцінки його зручності та ефективності.
Опитування: Розповсюдження анкет серед широкого кола аудиторії для збору кількісних даних про демографічні характеристики, уподобання та відношення до продукту.
Інтерв’ю з користувачами: Бесіди з користувачами для отримання від них інсайтів щодо потреб, уподобань та проблем. Цей якісний підхід допомагає лучше зрозуміти їхню мотивацію та реакції на концепції продукту.
Тестування лендінгу: Порівняння різних версій цільової сторінки для визначення їх ефективності з точки зору конверсії та інших метрик.
Тестування платної реклами: Тестування різних елементів рекламних кампаній для оптимізації конверсій та виходу на ROI.
Імітаційні продажі: Створення “продукту-привида” для вимірювання інтересу користувачів перед повноцінним вкладанням ресурсів у розробку.
Canary Testing: Запуск нової функції для обмеженої групи користувачів для перевірки наявності помилок чи проблем перед широким впровадженням.

Найголовніше — перевірити гіпотезу якомога швидше, не витрачаючи зайвого часу та грошей

Для досягнення максимальної ефективності рекомендується розпочати з простих і доступних заходів тестування. Якщо результати будуть позитивними, розглядайте можливість подальшого тестування для точного визначення ваших висновків та отримання більшої впевненості, особливо у випадку критичних гіпотез.

Не забувайте використовувати готові рішення. Ресурси розробників є цінними, і використання наявних інструментів може значно прискорити процес тестування.

...

Для перевірки нашої ідеї про те, що фінансовий калькулятор сприятиме залученню до ощадного рахунку, ми вирішили вбудувати кілька базових калькуляторів у наш застосунок. Крім цього, ми додали заклик до налаштування автоматичних переказів.

Ми будемо аналізувати частоту відкриття калькулятора, рейтинг кліків на наш заклик щодо встановлення автоматичних переказів, а також фактичну кількість користувачів, які успішно завершили налаштування. Це надасть нам інформацію про те, наскільки ефективно нововведення впливають на залученість до ощадного рахунку в нашому застосунку.

Під час вибору метрики для вашого тесту важливо враховувати відповідний часовий проміжок. Майте на увазі, що для деяких метрик може знадобитися більше часу, щоб отримати достовірні результати. Тому важливо мати терпіння і дати користувачам достатньо часу для взаємодії з вашим продуктом перед тим, як робити висновки.

Знахідки

Тест завершено, дані оброблені, і зараз час для етапу аналізу знахідок. На цьому етапі ми ретельно переглядаємо наші спостереження, робимо висновки та визначаємо курс для наступних кроків.

Результати нашого тестування можуть спрямувати нас у трьох різних напрямках: Гіпотезу спростовано / Потрібне додаткове дослідження / Гіпотезу підтверджено. Залежно від отриманих висновків у нас може бути різні підходи для наступних кроків:

1. Гіпотезу спростовано:

Хоча це може здатися розчаровуючим, але це цінний досвід. Ось як можна бути в такому випадку:

Дослідіть дані: Проаналізуйте уважно результати тесту, щоб виявити можливі закономірності чи неочікувані відмінності. Можливо, тест не справився тільки з певною групою користувачів або трапилася якась несподіванка.
Переосмисліть ідею: Перегляньте свою початкову концепцію — чи була вона правильною? Можливо, тест був налаштований невірно. Повернення до початкових думок і уточнення розуміння проблеми може допомогти знайти правильний шлях.
Змініть напрямок і повторіть: Іноді навіть невелика модифікація ідеї або підходу до тесту може призвести до успіху. Спробуйте внести зміни в тести та розпочати наступні цикли тестування. Будьте готові до адаптації та внесення змін на основі отриманих даних.

...

Уявіть, що ми перевірили нашу гіпотезу та виявили, що кількість клієнтів, які встановили автоматичні перекази, залишилася незмінною. У цьому випадку ми фіксуємо наші знахідки в картці гіпотез, змінюємо статус на «Спростовано» та заповнюємо розділ знахідок необхідною інформацією.

2. Потрібне додаткове дослідження:

У ситуації, коли результати тесту не переконливі і неочевидно, в яку сторону рухатися далі, ось деякі кроки для вирішення невизначеності:

Збільште розмір вибірки: Зберіть більше даних, розширивши тестову аудиторію або продовживши тривалість тесту. Це дозволить отримати більше точний результат і чітше оцінити вплив змін.
Проведіть додаткові тести: Використайте різні методології тестування або націлюйте на конкретні сегменти користувачів.Це може допомогти отримати додаткову інформацію та усунути потенційні упередження.
Проведіть якісне дослідження: Доповніть кількісні дані якісними дослідженнями, такими як інтерв’ю з користувачами, опитування або тести юзабіліті. Це дозволить зрозуміти причини за результатами тесту і виявити можливі фактори, які не були враховані.

...

Припустимо, тест показав лише невелике зростання активності клієнтів, що не досягло очікуваних показників, це може свідчити про те, що гіпотеза частково вірна, але є деякі аспекти, які потребують детальнішого дослідження та розуміння.

3. Гіпотезу підтверджено :

Докази очевидні, гіпотеза перемогла! Це заслуговує святкування, але також й уважного розгляду:

Розробіть план розгортання: Визначте як краще втілити ідею в продукті, щоб користувачі відчували гладке впровадження та отримували позитивний досвід.
Слідкуйте та адаптуйтеся: відстежуйте вплив змін і будьте готові адаптуватися на основі відгуків користувачів і даних про продуктивність. Пам’ятайте, що жодне рішення не є ідеальним, і постійне вдосконалення є ключовим.
Діліться висновками: розповсюджуйте отримані знання в команді. Це сприятиме прийняттю майбутніх рішень та виховуванню культури експериментів.

...

Після проведення тестування та оцінювання гіпотезу було успішно підтверджено. Результати показали, що фінансові калькулятори мали позитивний вплив на залучення користувачів.

Резюме

Проведення експериментів для перевірки гіпотез є важливим етапом у створенні нового продукту чи послуги. Слідуючи вищезазначеним крокам, ви зменшуєте ризик і маєте впевненість, що працюєте над тим, що дійсно може здобути успіх на ринку.

Основні висновки:

Не розраховуйте лише на інтуїцію — це ризиковано.
Систематично висувайте гіпотези та ретельно їх перевіряйте.
Зосередьтеся на ідеях, які легко перевірити та можуть мати значний вплив.
Експеримент — це не кінець процесу. Це лише початок безперервного циклу вдосконалення.

Щоб заощадити час і організувати свою роботу, скористайтеся моїм шаблоном Notion для відстеження гіпотез проєкту. Ви можете безкоштовно копіювати та використовувати його! Посилання на шаблон