UXPUB 🇺🇦 Дизайн-спільнота: Anna Velcheva

Як обрати метод для тестування продуктових гіпотез: Практичний гайд

Anna Velcheva — Tue, 12 Mar 2024 05:03:28 +0000

У моїй попередній статті "Експерименти та перевірка гіпотез у створенні продукту (приклад цифрового банку)" ми обговорили важливість тестування ідей під час створення або вдосконалення існуючого продукту. Тестування гіпотез допомагає уникати помилок, робити вибір з розумом та генерувати кращі ідеї для продуктів.

Тепер я хочу розглянути наступне важливе питання: як обрати найефективніший метод тестування для конкретної гіпотези продукту?

Сьогодні ми розглянемо наступні теми:

Критерії вибору методу тестування: Розглянемо фактори, які слід враховувати при виборі методу тестування, такі як стадія вашого проєкту, наявні ресурси та те, що вам потрібно дізнатися про ваш продукт.
Огляд методів тестування: Заглибимося в детальний огляд різних методів тестування, пояснюючи, коли і чому який метод слід використовувати. У цьому розділі буде поєднано переваги та недоліки різних підходів, а також поради щодо уникнення поширених помилок.
Приклади: Розглянемо приклади того, як різні методи можуть бути використані в реальних сценаріях розробки продуктів.

Наприкінці дискусії у вас буде чіткіше розуміння того, як вибрати та застосувати методи тестування для продуктових гіпотез.

Критерії вибору методу тестування

Вибір правильного методу тестування є ключовим фактором успішного тестування гіпотез. Існує безліч методів, тому знайти найкращий може здатися складним завданням. Але не хвилюйтесь! Зосередившись на трьох основних факторах, ви легко зможете вибрати найефективніший метод:

Стадія розробки продукту: Концептуалізація та дизайн; Стадія розробки; Після запуску
Мета тестування: Якісне vs. кількісне; Дослідницьке vs. валідаційне
Доступні ресурси: Час; Бюджет; Доступ до користувачів; Навички

Процес часто починається з якісних, дослідницьких методів, щоб зібрати широкі знання та сформувати гіпотези. У міру просування процесу розробки та формування конкретних гіпотез, увага переходить до кількісних, валідаційних методів для тестування цих гіпотез та ухвалення рішень на основі отриманих даних.

Концептуалізація та дизайн

Під час ранньої фази розробк, основна мета зазвичай є досліднецькою. Команди зосереджені на тому, щоб зрозуміти потреби користувачів, визначити проблеми та обговорити потенційні рішення. Цей етап характеризується відкритими питаннями щодо того, чого хочуть і потребують користувачі, а також як вони взаємодіють з існуючими продуктами чи послугами.

Якісні методи природно співвідносяться з цілями дослідницьких досліджень:

Інтерв’ю з користувачами: Спілкуйтеся з користувачами, щоб заглибитися в їхню поведінку, уподобання та проблеми. Це сформує основу вашого майбутнього продукту.
Юзабіліті тести: Спостерігайте за користувачами, які працюють з ранніми прототипами або дизайнами, щоб визначити проблеми з юзабіліті. Обговорюйте думки та враження юзерів для подальшого вдосконалення дизайну.
Фокус-групи: Збирайте разом групи користувачів, щоб вони поділилися своїми поглядами та досвід, надаючи різні перспективи для розробки концепції.
Етнографічне дослідження / Дослідженням з участю спостерігача: Спостерігайте за людьми у різних аспектах їхнього життя, щоб отримати максимально комплексне уявлення про їхню поведінку та звички.
Дослідження щоденників: Заохочуйте користувачів документувати свої взаємодії, думки та почуття, надаючи вам уявлення про їхню поведінку та досвід.

Кількісні методи рідше асоціюються з дослідженнями з досліднецькою метою, але все ж таки можуть відігравати певну роль:

Широкі опитування або аналітика даних: Допоможуть визначити закономірності в поведінці широкої бази користувачів, дасть підґрунтя для подальших якісних дослідженью. Результати можуть потенційно вплинути на стратегічне напрямок вашого продукту.

Стадія розробки

При переході продукту до середньої стадії, акцент зміщується на уточнення та валідацію концепцій, визначених на етапі концептуалізації. Цілі стають більш чіткими, з акцентом на тому, щоб продукт відповідав потребам та очікуванням користувачів до його виходу на ринок.

Комбіновані методи: На цьому етапі часто використовується комбінація якісних та кількісних методів. Хоча якісні дані й надалі впливають на доопрацювання продукту, кількісні методи починають відігравати важливу роль у підтвердженні ефективності та зручності використання продукту. Основні методи включають:

Юзабіліті тестування: Проведіть повторні раунди тестування оновлених прототипів або функціональної бета-версії, щоб виявити та усунути можливі проблеми. Використовуйте відгуки учасників для поступового вдосконалення дизайну та відповідності потребам користувачів.
Опитування: На етапі розробки вам можуть знадобитися опитування для підтвердження ваших ідей. Використовуйте їх, щоб зібрати відгуки щодо функцій, зручності використання та уподобань користувачів. Також опитування можуть допомогти у визначенні пріоритетів для розробки.

Пам’ятайте, що часто існує розбіжність між тим, що говорять респонденти, і тим, що вони насправді роблять. Почніть з тестів, які фіксують усні відгуки, але потім перейдіть до спостереження за їхніми діями для отримання вагоміших доказів.

Після запуску

Після запуску продукту, зусилля команди зосереджується на оптимізації та постійному вдосконаленні. Головними цілями на цьому етапі є підтвердження того, що продукт відповідає потребам ринку та визначення можливостей для подальшого розвитку.

На цьому етапі переважають кількісні методи дослідження, які надають вимірні дані, необхідні для оцінки ефективності продукту. Найпоширеніші методи включають:

A/B тестування: Після того, як у вас буде достатньо трафіку, почніть A/B тестування, щоб порівняти різні варіанти функцій. Визначте, які з них підвищують залученість користувачів, коефіцієнти конверсії та інші ключові показники, що допоможе вам ефективно вдосконалити продукт.
Опитування: Використання опитувальників для збору безпосередніх відгуків користувачів про їхній досвід та уподобання. Цей метод є цінним для оптимізації існуючих функцій та визначення сфер для подальшого вдосконалення.
Аналітика: Застосування інструментів аналітики для аналізу поведінки та задоволеності користувачів. Ці дані допомагають визначити області для покращення, гарантуючи, що ваш продукт розвивається відповідно до потреб користувачів.

Інновації ніколи не зупиняються. Думайте про додавання нових функцій, як про впровадження маленьких нових продуктів. Це означає, що вам потрібно постійно досліджувати і використовуйте комбінацію кількісних та якісних досліджень. Спочатку спілкуйтесь з людьми, щоб генерувати ідеї для тестування, потім використовуйте дані, щоб перевірити, чи ці ідеї працюють. Часто дані породжуватимуть нові питання і змусять вас знову захотіти спілкуватись з людьми — таким чином підтримуючи цикл навчання та вдосконалення.

Доступні ресурси

Обираючи метод тестування, вкрай важливо враховувати наявні ресурси. Оцініть, скільки часу та коштів ви можете виділити, чи є легкий доступ до користувачів і чи маєте ви необхідні навички для проведення конкретних тестів.

Головна мета — тестувати гіпотези з максимальною ефективністю та рентабельністю, з подальшими повторними тестуваннями для найкритичніших гіпотез.

Важливо зауважити, що час і бюджет, необхідні для проведення певного тесту, можуть значно відрізнятися в залежності від характеру тесту, контексту, у якому він проводиться, доступних инструментів та експертності команди.

Інтерв’ю з користувачами

Ідеально підходить для отримання ґрунтовних якісних даних про потреби, досвід та мотивацію користувачів. Інтерв’ю можуть кути корисними як на ранніх стадіях розробки продукту, щоб допомогти визначити персони та їхні проблеми, так і пізніше, щоб зрозуміти, як користувачі взаємодіють з вашим продуктом.

Але інтерв’ю не є гарним рішенням, коли вам потрібні швидкі, практичні дані у великих масштабах. Інтерв’ю є часoвитратними і зазвичай залучають невелику кількість учасників, що робить їх непридатними для збору великих наборів даних або роблення широких узагальнень.

Як уникнути поширених помилок під час інтерв’ю з користувачами:

Забезпечте відповідність учасників цільовому профілю: Використовуйте скрінінгову анкету для відбору учасників, щоб впевнетись, що вони точно представляють вашу цільову аудиторію.
Піддайте сумніву свої уявлення: Підходьте до інтерв’ю з відкритим розумом, будьте готові навчатися, а не підтверджувати існуючі переконання. Це допоможе протистояти впливу підтверджувальної упередженості.
Оптимізуйте спогади та залученість: Заохочуйте учасників ділитися недавнім досвідом, з підтримкою реальних фактів (щоб вони давали чесні відповіді, а не те, що, на їхню думку, ви хочете почути). Підтримуйте розмову у потрібному руслі та слідкуйте за залученністю учасників для отримання чітких та повних відповідей.
Організовуйте дані: Структуруйте запис та використовуйте спеціальні застосунки (наприклад Dovetail, Monkey Learn, ATLAS.ti) для аналізу якісних даних. Це допоможе систематизувати дані щоб запобігти неправильному тлумаченню намірів учасників та уникнути неправильних висновків.

Приклад

Наразі ми перебуваємо на концептуальній стадії розробки нового мобільного банківського застосунку. Ми розглядаємо можливість додавання функції персоналізованих фінансових порад, бо вважаємо, що це може значно допомогти нашим користувачам у плануванні їхніх фінансів, що дозволить виділити наш додаток серед конкурентів.

Проте, перш ніж перейти до дизайну і розробки, нам потрібно підтвердити:

Чи наша цільова аудиторія дійсно цінує та бажає цієї функції?
Як вони зараз керують своїми фінансами?
Чи були б вони відкриті до отримання консультацій через наш додаток?

Юзабіліті тестування

Це ідеальне рішення коли вам потрібно побачити, як люди насправді використовують ваш продукт і знайти місця, де вони можуть зазнавати труднощів. Юзабіліті тестування допомагає розуміти поведінку користувачів, побачити можливі проблеми та зрозуміти чому вони виникають. Цей метод підходить для будь-якого етапу розробки продукту, від прототипів до фінальних версій.

Однак, це тестування менш придатне для отримання кількісних показників або аналізу широких тенденцій ринку, оскільки воно фокусується на якісному досвіді користувачів, а не на зборі великих обсягів цифрових даних.

Як подолати поширені проблеми юзабіліті тестування:

Залучайте репрезентативних користувачів: Обирайте учасників, які максимально відповідають вашій реальній користувацькій базі, щоб отримати точні дані про досвід користувачів.
Зробіть тестування зрозумілим та цілеспрямованим: Забезпечте чіткість та цілеспрямованість тестування, визначивши цілі та підготувавши структурований план тестування. Опишіть конкретні сценарії та завдання, які демонструють ключові функції продукту.
Стежте за неупередженістю спостерігачів: Спостерігачі повинні тихо спостерігати за процесом, не втручаючись та не впливаючи на дії учасників. Додаткові питання і уточнення можна задати після тестування.
Уникайте надмірного узагальнення результатів: Доповнюйте тестування кількісними дослідженнями, щоб підтвердити отримані дані на більшій групі користувачів. Не поспішайте з висновками та усвідомлюйте, що ваші дані можуть бути неповними.
Повторюйте та підтверджуйте: Проводьте повторні тести, щоб переконатися, що зміни, внесені на основі початкових висновків, призводять до покращення юзабіліті.

Приклад

Наша команда прагне підвищити показники завершення заявок на позику, бо наразі вони нижчі за заплановані. Ми плануємо провести юзабіліті тестування, щоб виявити на яких етапах користувачі стикаються з труднощами під час оформлення заявки. На основі отриманих результатів ми зробимо інтерактивний прототип та проведемо другий раунд тестування, щоб переконатися, чи нам дійсно вдалося спростити процес для користувачів.

А/Б тестування

Ідеально підходить для перевірки гіпотез, де треба порівняти два (або більше) варіанти, щоб побачити який з них працює краще.

Наприклад, можна порівняти: різні дизайни веб-сторінок, альтернативні функції, текст, кнопки, ціну, знижки ітд.

Однак, A/B тестування не підходить, коли у вас недостатньо трафіку, щоб статистично підтвердити різницю між варіантами, або коли йдеться про дослідження нових концепцій, де немає чіткої гіпотези для тестування.

Як працювати з “підводними каменями” спліт-тестів:

Оптимізуйте тривалість тестування та розмір вибірки: Використовуйте калькулятори A/B тестування, щоб визначити необхідну тривалість тесту та кількість учасників. Це домопоже досягти статистичної значущості, аби отримати достовірні результати, які не будуть перекручені через терміни або нестачу даних.
Ізолюйте зміни: Тестуйте лише одну зміну за раз, або мінімальну кількість тісно пов’язаних змін. Це дозволить вам визначити, який конкретний елемент впливає на поведінку користувачів.
Враховуйте зовнішні впливи: Під час тестування важливо фіксувати та слідкувати за зовнішніми факторами, наприклад, за ринковими тенденціями, сезонними подіями або маркетинговими активностями. Це можна зробити, порівнюючи результати з історичними даними або використовуючи контрольну групу, щоб уникнути впливу цих факторів. Таким чином, ви забезпечите те, що результати тестування відображають реальну реакцію користувачів на внесені зміни.

Приклад

Наша команда запускає реферальну програму, і ми прагнемо спонукати наших клієнтів брати в ній участь. Для цього ми створили декілька інформаційних банерів. Наша мета — протестувати ці різні варіанти, щоб визначити, який з них найефективніше мотивує клієнтів ділитися своїм реферальним посиланням.

Опитувальники

Дієвий метод швидкого збору великої кількості даних від широкої аудиторії. Опитувальники корисні для розуміння загальних настроїв користувачів, їхньої задоволеності або збору відгуків щодо потенційних функцій. Опитування універсальні та їх можна використовувати на будь-якому етапі розробки.

Однак опитування менш ефективні для дослідження складних питань, що потребують розуміння контексту, мотивації або емоцій. Це пов’язано з тим, що вони ґрунтуються на саморефлексії, яка може бути упередженою.

Як подолати поширені проблеми з опитуваннями:

Відбирайте респондентів за допомогою уточнюючих питань: На початку опитування додайте скринінгові питання. Це допоможе вам відібрати респондентів, які відповідають вашим цілям дослідження, підвищуючи точність та релевантність отриманих даних.
Формулюйте чіткі та неупереджені питання: Запитання в опитуванні повинні бути простими та зрозумілими. Уникайте навідних формулювань, подвійного сенсу та технічного жаргону, які можуть заплутати або вплинути на респондентів. Чіткі та нейтральні запитання допоможуть отримати більш точні та неупереджені відповіді.
Мінімізуйте довжину опитування: Короткі та цікаві опитування знижують ризик поспіху у відповідях або взагалі відмовляння їх надавати. Якщо опитування довге, розбийте його на коротші, більш сфокусовані секції. Також розгляньте використання індикаторів прогресу, щоб мотивувати учасників завершити опитування.
Проведіть попереднє тестування: Пробне тестування опитування з невеликою групою цільової аудиторії допоможе вам виявити та виправити будь-які заплутані питання або технічні проблеми, перш ніж запускати опитування на повну потужність.

Приклад

Перед тим, як додавати функціонал інвестування, ми розіслали коротке опитування, щоб дізнатись, скільки з наших користувачів інвестують, які інструменти інвестування їм відомі та які саме вони використовують. На основі зібраних даних ми побачимо чи існує достатній інтерес, і тоді вже продовжимо роботу над розробкою цієї функції.

Аналітика

Аналітика — це потужний інструмент для перевірки гіпотез, а не самостійний метод тестування. Вона допомагає збирати та аналізувати дані щодо продукту, наприклад, впливу додавання нової функції на залученість користувачів. Відстежуючи ключові показники до та після змін, аналітика допомагає визначити, чи підтверджується гіпотеза. Однак, оскільки аналітика використовує реальні дані користувачів, її можна застосовувати лише після запуску продукту, а не для гіпотетичних оцінок або перевірок до запуску.

Подолання типових проблем використання аналітики для перевірки гіпотез:

Сегментуйте дані: Аналізуйте дані окремо за різними сегментами користувачів, щоб виявити нюанси в їхній поведінці та уникнути оманливих середніх значень. Наприклад, поведінка мобільних користувачів може відрізнятися від поведінки користувачів комп’ютерів.
Контролюйте зовнішніх перемінні: Під час аналізу враховуйте вплив зовнішніх факторів, які можуть вплинути на ваші дані, наприклад, сезонні коливання або зміни на ринку. Наприклад, зростання продажів під час святкового сезону може бути не пов’язане з тестуванням нової функції.
Забезпечте статистичну значущість: Переконайтеся, що ваші висновки статистично достовірні для прийняття рішень на основі надійних даних. Це стосується розміру вибірки та застосування відповідних статистичних тестів. Наприклад, невелика різниця в показниках конверсії може бути просто випадковістю, а не реальним впливом тесту.
Управляйте інформаційним навантаженням: Збирайте дані, чітко визначивши цілі, щоб сфокусувати тих, хто приймає рішення, і зосередити на практичних висновках. Зосередьтеся на найбільш важливих показниках, які впливають на ваш бізнес.
Будьте обережні з тлумаченням: Будьте уважні до упереджень, які можуть впливати на те, як ви сприймаєте дані. Пам’ятайте, що через те, що дві події відбуваються одночасно, не означає, що одна з них є причиною іншої. Спробуйте поглянути на речі з різних точок зору, щоб уникнути помилкових припущень. Наприклад, збільшення реєстрацій може бути пов’язане з нещодавною маркетинговою кампанією, а не з тестуванням нової форми реєстрації.

Співвідношення з цілями: Регулярно порівнюйте результати тестування з поставленими бізнес-цілями та потребами користувачів. Чи наближають внесені вами зміни до бажаного результату?

Заключення

Вибір правильних методів тестування для підтвердження ваших гіпотез щодо продукту — це рішення, яке залежить від типу інформації, яку вам потрібно та ресурсів, якими ви володієте.

На ранніх етапах розвитку продукту, коли інформації бракує, а впевненість ще невисока, варто надавати пріоритет швидким та економічно ефективним методам тестування. Вони допоможуть вам швидко та ефективно отримати базові дані та визначити подальші напрямки досліджень.

У міру зростання впевненості, можна поступово збільшувати інвестиції в більш детальні та комплексні методи тестування. Однак, важливо завжди пам’ятати про обмеження кожного методу та потенційні помилки, щоб забезпечити надійність та достовірність отриманих даних.

Не забувайте, що розробка продукту — це ітеративний процес. Будьте готові коригувати свій підхід на основі того, що ви дізнаєтеся в процесі тестування. Здатність до гнучкості та готовність змінюватися на основі зворотного зв’язку є ключовими факторами для вдосконалення вашого продукту та наближення до успіху.

Процес валідації гіпотез — це про навчання та адаптацію, а не лише підтвердження ваших початкових гіпотез.

Оригінали статті:
Medium (eng)
Medium (ua)

Експерименти та валідація гіпотез у створенні продуктів (на прикладі цифрового банку)

Anna Velcheva — Fri, 19 Jan 2024 03:50:36 +0000

У цій статті ми розглянемо процес тестування гіпотез, що допоможе вам прискорити розвиток та забезпечить успіх вашого продукту. Візьмемо за приклад цифровий банк і розкажемо, як ефективно формулювати, тестувати та перевіряти гіпотези.

Покроково розберемо процес:

Чому важливо формулювати та тестувати гіпотези продукту
Як складати ефективні гіпотези
Які експерименти можна використовувати
Як використовувати результати експериментів для покращення продукту

Сила тестування

Коли ви створюєте продукт, у вас зазвичай є багато ідей. Але важливо пам’ятати, що:

Будь-яка ідея чи інформація є лише гіпотезою, доки її не буде перевірено та підтверджено в реальному світі. Навіть якщо вона походить з авторитетного джерела, вона досі не є фактом.

Будувати продукт на припущеннях — як ризикована прогулянка по канату без засобів безпеки. Так само, як невдалий крок на канаті може призвести до падіння, дії на підставі необґрунтованих припущень можуть призвести до серйозних проблем.

Щоб створити продукт, який дійсно відповідає потребам користувачів і ринку, не можна діяти за своєю уявою — ціна помилки може бути занадто високою. Так що ж робити у цьому випадку? Розуміння цільової аудиторії та проведення експериментів для перевірки продуктових гіпотез є необхідною частиною розробки. Це дозволяє командам приймати більш обґрунтовані рішення щодо створення і вдосконалення своїх продуктів.

Як це допомагає:

Зменшення ризику: Проведення тестування гіпотез допомагає продуктовим командам знизити ризик запуску продукту чи функціоналу, які не вразять користувачів або не відповідатимуть бізнес-цілям.
Прийняття рішень на основі даних: Дозволяє приймати рішення на основі об’єктивних даних, а не інтуїції чи відчуття.
Підвищення ефективності: Допомагає уникнути розробки непотрібного функціоналу. Допомагає виявити та виправити проблеми на ранній стадії, перш ніж вони стануть дорогими або складними для вирішення.
Стимулювання інновацій: Заохочує продуктові команди експериментувати з новими ідеями та підходами.

Огляд процесу

Написання та тестування продуктових гіпотез — це потужний інструмент, що допомагає приймати кращі рішення для вашого продукту. Якщо ви витратите час на тестування своїх ідей, зможете зменшити ризики і збільшити шанси на успіх.

Отже, ось так виглядає загальний процес:

Зберіть свої гіпотези: Які ключові припущення ви маєте щодо вашого продукту, послуги чи ринку?
Визначте важливість припущень: Розташуйте свої припущення за важливістю. Деякі можуть мати більший вплив на ваш бізнес, якщо їх спростувати.
Розробіть тести: Оберіть тест за допомогою якого зможете підтвердити або спростувати вашу гіпотезу. Характер тесту залежатиме від самої гіпотези. Під час планування експериментів визначте чіткі показники та критерії успіху –це дозволить вам об’єктивно оцінити дані.
Проведіть тести: Коли план тесту готовий, запускайте його.
Проаналізуйте результати та зробіть висновки: Після отримання даних ретельно аналізуйте їх, щоб визначити, чи підтверджують вони вашу гіпотезу. На основі результатів розробіть план подальших дій.

Збір гіпотез

Хороші ідеї виникають завдяки уважним спостереженням. Щоб забезпечити постійний розвиток вашого продукту та інновацій, необхідно виявляти проблеми, які є варті вирішення.

Отже, ось кілька джерел, де можна знаходити ідеї для свого продукту чи послуги:

Результати дослідження ринку: Допоможуть розуміти тенденції ринку та мінливі потреби споживачів. Це сприятиме проактивній адаптації та інноваціям.
Аналіз конкурентів: Розуміння того, що ваші конкуренти роблять правильно чи неправильно, допоможе вам знайти власний шлях для розвитку продукту.
Інтерв’ю з клієнтами: Допоможуть отримати уявлення про поведінку та вподобання користувачів, а також зрозуміти їхні потреби та проблеми.
Ідеї від команди підтримки: Співробітники служби підтримки постійно взаємодіють з клієнтами і можуть надати вам цінну інформацію про їхні проблеми.
Ідеї когось із команди розробки: Не забувайте, що ваші колеги можуть мати власні цікаві ідеї. Заохочуйте їх ділитися своїми думками.
Мозковий штурм: Залучайте широке коло людей до мозкового штурму, щоб отримати різноманітні точки зору.

Гіпотези мають ґрунтуватися на глибокому розумінні цільової аудиторії. Чим краще команда підготовлена та дослідила аудиторію за допомогою якісних методів (інтерв’ю, спостереження, дослідження щоденників ітд.), тим кращими будуть гіпотези та експерименти, які принесуть цінність.

Приклад

Уявімо, що перед нашою командою стоїть завдання: як можемо збільшити зацікавленість у використанні ощадного рахунку через наш мобільний додаток банку? На початку ми провели серію інтерв’ю з нашими клієнтами, щоб ліпше зрозуміти їхні потреби та проблеми. За результатами обговорення, ми винайшли кілька ідей про можливі нові функції, які можуть бути корисними.

Потім ми занесли всі наші ідеї в базу даних Notion — центральний пункт для зберігання та відстеження продуктових гіпотез. Це дає нам можливість легко контролювати прогрес, організовувати беклог і сортувати гіпотези за допомогою зручних тегів. Notion — це живий документ, постійно оновлюваний, і він є важливим ресурсом для нашої команди.

Розстановка пріоритетів

Після того, як ми вже вигадали чимало гіпотез, виникає питання: як визначити, які з них тестувати першими? Тут на допомогу приходить процес пріоритетизації.

Пріоритизація гіпотез означає їхнє упорядкування відповідно до того, наскільки вони важливі для вашого бізнесу та наскільки ризиковані для перевірки.

RICE

Одним із популярних методів є використання фреймворку RICE. RICE означає Reach (охоплення), Impact (вплив), Confidence (впевненість) і Effort (зусилля).

Reach: скільки людей буде залучено протягом певного періоду часу?
Impact: наскільки ця гіпотеза вплине на ваш бізнес, якщо її буде доведено? (Масивний = 3x, високий = 2x, середній = 1x, низький = 0,5x, мінімальний = 0,25x.)
Confidence: Наскільки ви впевнені, що ця гіпотеза правдива? (Високий = 100%, середній = 80%, низький = 50%.)
Effort: скільки зусиль буде потрібно для перевірки цієї гіпотези? (Зусилля оцінюється як кількість «людино-місяців»)

Оцінивши всі фактори, використовуйте цю формулу:

Після того, як ми оцінили кожну гіпотезу з урахуванням цих факторів, ми можемо розташувати їх в порядку важливості. Гіпотези з найвищими балами стають нашими першочерговими кандидатами для перевірки.

...

У нашому випадку переміг фінансовий калькулятор. Це готове рішення, тому ми зможемо його швидко запустити і принести користь нашим клієнтам.

Hypothesis Prioritization Canvas

Іншим популярним методом встановлення пріоритетів є використання Hypothesis Prioritization Canvas. Це проста матриця 2x2 з ризиком на осі x і передбачувальною цінністю на осі у.

Ризик: наскільки ризиковано перевірити цю гіпотезу?
Передбачувана цінність: яку цінність ця гіпотеза додасть вашому бізнесу, якщо вона підтвердиться?

Розмістіть свої гіпотези на канві на основі їхнього ризику та передбачувальної цінності.

Проєктування тесту

Гаразд, ми вибрали ідею. Тепер настав час уточнити її та вибрати тест для перевірки.

Щоб ефективно працювати з гіпотезами, використовуйте фреймворк SMART.

Після уточнення ідею слід задокументувати у такому форматі:

Ідея: Чіткий і лаконічний виклад гіпотези, що перевіряється.
Тест: Конкретний метод або підхід, який використовується для перевірки гіпотези.
Метрика: Які дані ви збираєтеся вимірювати.
Критерії успіху: Параметр для оцінки успішності чи неуспішності гіпотези.
Дати виконання: Дата початку та закінчення тесту та загальний необхідний час.
Власник: Особа, відповідальна за проведення тесту.
Дата створення: Дата, коли ідея була вперше задокументована.

Цей формат забезпечує чіткий і стислий спосіб документування ідей і тестів, полегшує комунікацію та відстеження прогресу.

Методи тестування

Існує безліч різних способів перевірки гіпотез, і вибір конкретного залежить від характеру гіпотези, вашого бюджету, обмежень часу та потреби в точних результатах. Якщо вам цікаво дізнатись докладніше про те, як найкраще обрати метод тестування, перегляньте мою статтю Як обрати метод для тестування продуктових гіпотез: Практичний гайд

Нижче наведено кілька найпоширеніших методів для перевірки цифрових продуктів:

A/B тестування: Створення двох різних версій продукту для випадкового відображення користувачам з метою визначення, яка версія краще відповідає їхнім потребам. Ідеально підходить для оцінки різних дизайнерських ідей і функціоналу.
Аналітика: Збір даних про використання вашого продукту користувачами. Допомагає визначити тенденції та моделі поведінки, які допомагають у прийнятті обґрунтованих рішень.
Юзабіліті-тестування: Спостереження за користувачами в процесі використання продукту для оцінки його зручності та ефективності.
Опитування: Розповсюдження анкет серед широкого кола аудиторії для збору кількісних даних про демографічні характеристики, уподобання та відношення до продукту.
Інтерв’ю з користувачами: Бесіди з користувачами для отримання від них інсайтів щодо потреб, уподобань та проблем. Цей якісний підхід допомагає лучше зрозуміти їхню мотивацію та реакції на концепції продукту.
Тестування лендінгу: Порівняння різних версій цільової сторінки для визначення їх ефективності з точки зору конверсії та інших метрик.
Тестування платної реклами: Тестування різних елементів рекламних кампаній для оптимізації конверсій та виходу на ROI.
Імітаційні продажі: Створення “продукту-привида” для вимірювання інтересу користувачів перед повноцінним вкладанням ресурсів у розробку.
Canary Testing: Запуск нової функції для обмеженої групи користувачів для перевірки наявності помилок чи проблем перед широким впровадженням.

Найголовніше — перевірити гіпотезу якомога швидше, не витрачаючи зайвого часу та грошей

Для досягнення максимальної ефективності рекомендується розпочати з простих і доступних заходів тестування. Якщо результати будуть позитивними, розглядайте можливість подальшого тестування для точного визначення ваших висновків та отримання більшої впевненості, особливо у випадку критичних гіпотез.

Не забувайте використовувати готові рішення. Ресурси розробників є цінними, і використання наявних інструментів може значно прискорити процес тестування.

...

Для перевірки нашої ідеї про те, що фінансовий калькулятор сприятиме залученню до ощадного рахунку, ми вирішили вбудувати кілька базових калькуляторів у наш застосунок. Крім цього, ми додали заклик до налаштування автоматичних переказів.

Ми будемо аналізувати частоту відкриття калькулятора, рейтинг кліків на наш заклик щодо встановлення автоматичних переказів, а також фактичну кількість користувачів, які успішно завершили налаштування. Це надасть нам інформацію про те, наскільки ефективно нововведення впливають на залученість до ощадного рахунку в нашому застосунку.

Під час вибору метрики для вашого тесту важливо враховувати відповідний часовий проміжок. Майте на увазі, що для деяких метрик може знадобитися більше часу, щоб отримати достовірні результати. Тому важливо мати терпіння і дати користувачам достатньо часу для взаємодії з вашим продуктом перед тим, як робити висновки.

Знахідки

Тест завершено, дані оброблені, і зараз час для етапу аналізу знахідок. На цьому етапі ми ретельно переглядаємо наші спостереження, робимо висновки та визначаємо курс для наступних кроків.

Результати нашого тестування можуть спрямувати нас у трьох різних напрямках: Гіпотезу спростовано / Потрібне додаткове дослідження / Гіпотезу підтверджено. Залежно від отриманих висновків у нас може бути різні підходи для наступних кроків:

1. Гіпотезу спростовано:

Хоча це може здатися розчаровуючим, але це цінний досвід. Ось як можна бути в такому випадку:

Дослідіть дані: Проаналізуйте уважно результати тесту, щоб виявити можливі закономірності чи неочікувані відмінності. Можливо, тест не справився тільки з певною групою користувачів або трапилася якась несподіванка.
Переосмисліть ідею: Перегляньте свою початкову концепцію — чи була вона правильною? Можливо, тест був налаштований невірно. Повернення до початкових думок і уточнення розуміння проблеми може допомогти знайти правильний шлях.
Змініть напрямок і повторіть: Іноді навіть невелика модифікація ідеї або підходу до тесту може призвести до успіху. Спробуйте внести зміни в тести та розпочати наступні цикли тестування. Будьте готові до адаптації та внесення змін на основі отриманих даних.

...

Уявіть, що ми перевірили нашу гіпотезу та виявили, що кількість клієнтів, які встановили автоматичні перекази, залишилася незмінною. У цьому випадку ми фіксуємо наші знахідки в картці гіпотез, змінюємо статус на «Спростовано» та заповнюємо розділ знахідок необхідною інформацією.

2. Потрібне додаткове дослідження:

У ситуації, коли результати тесту не переконливі і неочевидно, в яку сторону рухатися далі, ось деякі кроки для вирішення невизначеності:

Збільште розмір вибірки: Зберіть більше даних, розширивши тестову аудиторію або продовживши тривалість тесту. Це дозволить отримати більше точний результат і чітше оцінити вплив змін.
Проведіть додаткові тести: Використайте різні методології тестування або націлюйте на конкретні сегменти користувачів.Це може допомогти отримати додаткову інформацію та усунути потенційні упередження.
Проведіть якісне дослідження: Доповніть кількісні дані якісними дослідженнями, такими як інтерв’ю з користувачами, опитування або тести юзабіліті. Це дозволить зрозуміти причини за результатами тесту і виявити можливі фактори, які не були враховані.

...

Припустимо, тест показав лише невелике зростання активності клієнтів, що не досягло очікуваних показників, це може свідчити про те, що гіпотеза частково вірна, але є деякі аспекти, які потребують детальнішого дослідження та розуміння.

3. Гіпотезу підтверджено :

Докази очевидні, гіпотеза перемогла! Це заслуговує святкування, але також й уважного розгляду:

Розробіть план розгортання: Визначте як краще втілити ідею в продукті, щоб користувачі відчували гладке впровадження та отримували позитивний досвід.
Слідкуйте та адаптуйтеся: відстежуйте вплив змін і будьте готові адаптуватися на основі відгуків користувачів і даних про продуктивність. Пам’ятайте, що жодне рішення не є ідеальним, і постійне вдосконалення є ключовим.
Діліться висновками: розповсюджуйте отримані знання в команді. Це сприятиме прийняттю майбутніх рішень та виховуванню культури експериментів.

...

Після проведення тестування та оцінювання гіпотезу було успішно підтверджено. Результати показали, що фінансові калькулятори мали позитивний вплив на залучення користувачів.

Резюме

Проведення експериментів для перевірки гіпотез є важливим етапом у створенні нового продукту чи послуги. Слідуючи вищезазначеним крокам, ви зменшуєте ризик і маєте впевненість, що працюєте над тим, що дійсно може здобути успіх на ринку.

Основні висновки:

Не розраховуйте лише на інтуїцію — це ризиковано.
Систематично висувайте гіпотези та ретельно їх перевіряйте.
Зосередьтеся на ідеях, які легко перевірити та можуть мати значний вплив.
Експеримент — це не кінець процесу. Це лише початок безперервного циклу вдосконалення.

Щоб заощадити час і організувати свою роботу, скористайтеся моїм шаблоном Notion для відстеження гіпотез проєкту. Ви можете безкоштовно копіювати та використовувати його! Посилання на шаблон

Оригінали статті:
Medium (eng)
Medium (ua)