UXPUB 🇺🇦 Дизайн-спільнота: Oksana Nosenko

Data-Driven Approach in Product Design

Oksana Nosenko — Thu, 13 Mar 2025 10:49:29 +0000

Hello! My name is Oksana Nosenko, and I lead the analytics team at the Ukrainian product company Jooble. Today, I’d like to talk about why designers should leverage data and how analytics can help improve UX/UI.

Why Designers Should Use a Data-Driven Approach

In many companies, design and analytics teams rarely interact beyond corporate events or all-hands meetings. Their areas of responsibility don’t often overlap designers focus on crafting visually appealing interfaces and intuitive user experiences, while analysts generate reports, track revenue, and interpret A/B test results.

However, there are several compelling reasons why designers should actively collaborate with analytics teams.

Understanding Your Product’s Audience

A product’s design should be tailored to its target users. Based on my experience, different user segments react differently to design changes.

For example, I worked on a product with a tech-savvy audience that followed the latest IT trends. Any minor wording ambiguity or inconsistency in the UI could trigger negative feedback. In contrast, another product’s audience was less concerned with modern design trends and responded well to bold UI elements such as large pop-ups, oversized fonts, and bright banners. While such aggressive design choices might seem counterintuitive, they simplified the user’s journey by providing a clear focus point.

Identifying and Solving Real User Problems

Designers aim to solve user problems, but how can they be sure these problems actually exist? What may seem logical to a designer or developer might not be relevant to real users.

Instead of solving imaginary problems, designers can save time by analyzing user data. For instance, it’s a well-known UX principle that additional steps in a funnel can increase drop-off rates. In one project, we assumed that reducing a five-step registration process to three steps would significantly boost conversion rates. However, analytics revealed that only 10% of users dropped off in the initial steps. The real issue was at the final step, where users abandoned the process due to complex password requirements. The problem wasn’t where we initially thought it was.

Tracking Feature Usage to Improve UX

Understanding how users interact with new features is crucial. I once worked on an email marketing redesign initiated by the design team. The existing email template hadn’t changed in five years, so we conducted an A/B test with a modernized design.

Surprisingly, the new design underperformed users clicked less. Analysts initially recommended sticking with the old version, but the design team insisted on further research. A cohort analysis revealed that new users responded well to the redesign, while long-time users, accustomed to the old format, engaged less. Since 80% of our user base consisted of long-term users, their behavior skewed the overall results.

As a solution, we introduced the new design for new users while allowing existing users to choose their preferred template. Over time, as user demographics shifted, we phased out the old design entirely.

Prioritizing the Design Backlog

How do you decide which design tasks to tackle first? Instead of prioritizing tasks based on the loudest requests from managers, a data-driven approach can help.

For example, if your backlog contains three subscription form redesigns, checking analytics can reveal which form generates the most registrations. By prioritizing the most frequently used form, you maximize impact. If data isn’t readily available, consulting the analytics team can provide valuable audience insights.

Career Growth for Data-Driven Designers

Today, companies highly value designers who understand data. A decade ago, designers worked in isolation, focusing solely on aesthetics. Now, businesses expect designers to take a more proactive and strategic approach.

A senior designer should be familiar with key product metrics such as User Retention, Adoption, and Stickiness. They should know where the product’s aha moment occurs, track changes in Bounce Rate and Session Duration, and identify user drop-offs in the funnel. Without this knowledge, career growth is limited and this knowledge comes from analytics.

How to Start Using Data as a Designer

If you’re a product designer and want access to data, start by finding out which analytics tools your company uses. Common platforms include:

Google Analytics
MixPanel
Amplitude
Tableau
Power BI
Google Data Studio

If your company has any of these tools, don’t hesitate to request access. These platforms are user-friendly for non-developers, and spending just a week learning them can significantly enhance your design process.

Final Thoughts

Don’t be intimidated by data — it may seem overwhelming at first, but with time, reading graphs and tables will become second nature. If needed, ask your analytics team for guidance; they’ll likely be happy to help.

From my experience, the best product solutions emerge from collaboration between designers and analysts. When empathy for users meets data-driven decision-making, the results can be game-changing.

Мінуси особистого бренду. Негативна сторона медійності

Oksana Nosenko — Tue, 10 Sep 2024 08:15:32 +0000

Привіт. Мене звати Оксана, я є керівницею команди аналітики в українській продуктовій компанії Jooble та лекторкою й авторкою освітніх програм.

Думаю нікого не здивую коли скажу, що ми живемо в активну фазу продажу інформації і послуг через рекламу особистого бренду.

У сучасному світі особистий бренд стає важливим елементом кар'єрного успіху. Все більше людей прагнуть створити публічний образ, який допоможе їм виділитися серед колег та привернути увагу роботодавців.

Але чи є у цього процесу приховані ризики? У гонитві за популярністю можна легко втратити себе як професіонала і навіть нашкодити власній кар'єрі.

Я в цілому задумалася про негативні сторони особистого бренду коли мене відверто кажучи уже просто вибісили клік-бейтні
[Clickbait is a text or a thumbnail link that is designed to attract attention and to entice users to follow ("click") that link and read, view, or listen to the linked piece of online content, being typically deceptive, sensationalized, or otherwise misleading.] заголовки в лінкидин та інстаграм.

Ну інстаграм ще куди не йшло, але заходиш в професійну стрічку лінкидин і читаєш:

Мене били на роботі
Як дружина мене звільнила
Як мене шантажували на роботі
Чому я ніколи не буду працювати на український бізнес

і так далі.

Я коли бачу такі заголовки постів думаю: чому воно все ще працює? Але потім в мене з’явилася ще одна думка: навіщо так принижуватися? Адже я навіть бачила пост: чому я працюю без білизни. Щоооо?

Ну і я вже мовчу про те, що трішки бісить вся ця історія: напиши мені слово “хочу” і я відправлю тобі відео.

Я на справді також розвиваю власний нетворкінг, ділюся в міні-блогах думками та спілкуюся.

І тому трішки зупинилася і подумала: чому мене задівають всі ці “мене били на роботі” і “напиши мені "хочу”?

І відповідь складається з двох частин:

По перше, мене засмучує, що такі підходи працюють, коли привертає увагу не щось класне і розумне, а щось “неадекватне”.
По друге, мене засмучує, що люди йдуть на таке заради власної реклами, вони можуть бути супер спеціалістами, але я ніколи цього не дізнаюся, тому що не зможу сприймати людину після цих заголовків адекватно.

Тому мій матеріал буде про власні роздуми на тему :

багато говоримо про плюси від побудови особистого бренду, а які є негативні аспекти?
Поїхали.

1. Втрата професійного фокуса

Одним із найсерйозніших недоліків розвитку особистого бренду я вбачаю те, що він може відволікати від основної роботи. Людина, занурена в постійне створення контенту, підтримку свого іміджу в соціальних мережах, ведення блогів і виступів, може втратити фокус на тому, що її зробило професіоналом у першу чергу.

Професійний розвиток стає другорядним, а увага зосереджується на саморекламі.

Я не заперечую, що такі спеціалісти можуть розвиватися в рекламній сфері, дізнаватися що посилання треба публікувати в третьому коментарі, а не в пості і рісл працює краще ніж сторіс, але це вже не доменна експертиза. А рекламують вони зазвичай саме доменні знання.

2. Втрата себе як особистості

Розвиваючи особистий бренд, людина може непомітно для себе почати грати певну роль, намагаючись відповідати очікуванням публіки. Цей процес може призвести до втрати автентичності та власної індивідуальності. У прагненні стати "ідеальним" для своєї аудиторії, людина може втратити те, що робить її унікальною.

Постійне створення контенту для аудиторії може призводити до втрати справжнього "я", коли людина починає працювати на образ, а не на власні цінності та принципи.

Успішний успіх або розумний розум накладають очікування яким хочеться відповідати. І десь доводиться робити речі, які б інакше не зробив як не заради реклами. Танцювати танці або рекламувати курси з програмування з дууууже глибоким декольте та в мережеві.

3. Небажання роботодавців брати медійних спеціалістів

Розвинутий особистий бренд не завжди є перевагою для роботодавців. Компанії можуть побоюватися брати людину, яка занадто зосереджена на саморекламі, адже це може створити ризики конфлікту інтересів, небажання повністю присвятити себе компанії або навіть вимагати надмірної уваги з боку колег і керівництва.

Роботодавці часто обирають тих спеціалістів, які готові сфокусуватися на роботі, а не на створенні власного публічного іміджу.

Відомі та медійні особистості можуть бути сприйняті як "занадто зайняті" для виконання реальних завдань.

Я знаю приклади, коли hiring менеджери відмовляли кандидатам зі словами “нам треба звичайний спеціаліст” або “наші проєкти не можна публікувати аудиторії” або “у вас і так багато проєктів”.

Тому сьогодні ми кажемо уже про те, що деякі компанії дійсно шукають зірок і хочуть собі здобути найпопулярніших спеціалістів в певних напрямках, а інші навпаки здебільшого розглядають людей без медійності.

4. Постійний стрес і вигорання

Підтримка особистого бренду вимагає безперервної активності. Необхідність постійно створювати контент, реагувати на зміни у суспільстві та тримати увагу аудиторії може призвести до вигорання.

Бажання залишатися в центрі уваги й уникати "забуття" породжує постійний стрес.

Прагнення підтримувати ідеальний образ часто супроводжується великим тиском і емоційним виснаженням. Людина змушена працювати без перерви, що призводить до втрати мотивації та енергії.

Я не є супер активним контент-мейкером, але теж інколи задумуюсь, що: "ооо треба зробити якусь публікацію", тому що давно нічого не розповідала. Мені ще радісно, що зазвичай спочатку є ідея, а потім контент. Думаю коли буде навпаки - є необхідність контенту, але немає ідеї для нього, ось це буде вже проблемка :)

5. Вразливість до критики

Особистий бренд робить людину більш вразливою до публічної критики. У світі соціальних мереж кожна помилка може швидко поширитися і негативно вплинути на репутацію.

Людина з розвиненим особистим брендом завжди на виду, тому будь-яка помилка стає більш помітною і потенційно руйнівною для кар'єри.

Не знаю прям руйнівних кейсів, але є кейси коли я бачу спеціалістів в своїй сфері, те як вони ведуть свій блог чи який матеріал створюють і я розумію що я нііііколи їх не найму до себе в команду; тому що крім контенту важлива його наповненість та якість. Якщо спеціаліст дуже медійний, але по ділу каже щось дійсно дике, медійність йому лише заважає.

6. Вразливість до непопулярності власного бренду

Важливий психологічний аспект в тому, що коли людина “продає” свій бренд, вона забуває, що вона особистість, а не компанія чи не продукт.

Коли бренд “не продається” може відбуватися знецінювання себе, а не об’єктивний аналіз ситуації.

Тому дуже важливо розділяти ці речі. Так, ви можете представляти себе як експерта, спеціаліста і продавати щось. Але критично розуміти що продаєтеся не ви, а ваші послуги чи ще щось. Інакше можуть бути психологічні наслідки у вигляді депресії або розладів.

Я колись спілкувалася з колегою, який пішов на самостійну зайнятість і проводив навчання і він сказав мені фразу: я чомусь влітку "не продаюся".
Тобто насправді влітку не купляли його консультації та навчання, але для нього це було те саме що і він.

Як висновок,
особистий бренд — це потужний інструмент для просування кар'єри, але він несе в собі значні ризики.

Важливо не втрачати себе, не ставити рекламу вище за професійний розвиток і уникати фокусування на публічному іміджі на шкоду своїй кваліфікації. Медійний успіх може бути короткочасним, якщо не підкріплювати його глибокими знаннями, справжньою експертністю та автентичністю.

Тому дуже круто якщо вам є поділитися, але не зайвим буде задавати собі питання: а це дійсно я? А не роблю я чогось що нашкодить мені ?

Чому продуктовому дизайнеру важливо розуміти, звідки прийшов користувач?

Oksana Nosenko — Tue, 23 Jul 2024 11:09:02 +0000

Сучасні цифрові продукти все більше орієнтуються на користувача, а персоналізація стає ключовим аспектом успішного дизайну. Одним з важливих елементів цього процесу є розуміння, звідки прийшов користувач. Ця інформація дозволяє продуктовим дизайнерам створювати більш релевантні та ефективні інтерфейси, що підвищують задоволеність користувачів і, як наслідок, успіх продукту.

Ми живемо у сферу інформації, і тому досить не далекоглядно ігнорувати власну ж аналітику, для того, щоб будувати продукт на основі хоча б невеличкої персоналізації.

Розуміння джерела трафіку

Трафік або ж користувачі можуть потрапляти в продукт з дуже різних джерел Aquisition. Трішки поговоримо про те, які є канали трафіку.

Переглянути джерела трафіку в розрізі багатьох індустрій можна тут

Звичайно, всі продукти тяготіють за безкоштовним органічним трафіком з гугла або з інших пошукових систем. Такий трафік означає, що юзер усвідомлено шукав закриття своєї потреби і натрапив на ваш продукт, тому що пошукова система вважає ваш сайт сбо застосунок максимально релевантним.

Або ще більш успішний кейс - це велика частка direct трафіку. Direct показує те, що користувач ціленаправлено йшов на ваш сайт. До прикладу, я користуюся сайтом preply.com. І звичайно що мені немає сенсу кожного разу перед уроком писати в гугл: платформа для пошуку репетитора! Я просто вбиваю в строку домену preply, браузер доповнює цю адресу як preply.com і я стаю direct користувачев! В цьому сила бренду та звички яку створюють деякі продукти.

Далі йде платна реклама, такий тип трафіку компанія купляє: закупати можна в facebook, linkdin, instagram, і в того ж самого гугла. Коли ми налаштовуємо платні кампанії в соціальних мережах то вказуємо аудиторію, на яку хочемо показувати свою рекламу. Якщо є бажання рекламуватися в пошуковій видачі, то необхідно вказати за якими пошуковими запитами ми хочемо отирмувати користувача, або ж в цілому довіритися системі і гугл підбере для вас на основі продукту самостійно і ці налаштування.

Користувач може потрапити в продукт також через email marketing або з через пуші в застосунку. Обидва ці шляхи означають, що юзер для нас не новий і тому ми можемо максимально використовувати інформацію про нього для створення кращого досвіду.

Існують і інші джерела трафіку, але пропоную поки що зупинитися на цих, щоб не заплутатися.

Розуміння Device distribution та географії

Для розробки та покращень продукту дуже важливо розуміти а з** якого пристрою заходить ваш користувач**. Часто ми можемо почути наратив, що світ сьогодні користується здебільшого мобільними пристроями, але важливо проаналізувати ситуацію саме для вашого бізнесу.

В цілому, якщо ми візьмемо до прикладу гугл, то ситуація неоднозначна:

По всьому світу з мобілок заходять все таки більше, але не те щоб це було кардинально.

Але давай переглянемо ще кілька продуктів щоб зрозуміти наскільки сильно може змінюватися ситуація:

netflix.com - отакої, майже всі користувачі переглядають фільми з декстопу! Тут варто зважати, що з мобілок можуть просто користуватися застосунком якщо він є.

А переглянемо українського конкурента megogo.net і тут уже ситуація зовсім інша:

В залежності від цієї інформації можна вкладати більше сил та ресурсів в покращення якоїсь однієї версії продукту, або ж побачити, що дійсно варто інвестувати в обидві,так як аудиторія поділена більш менш рівномірно.

І крім пристроїв, я б додала розуміння географії. Всі ми знаємо, що люди по всьому світу мають різний менталілет і тому по різному сприймають навіть одний і той самий сайт. Хтось відразу закриває сайт, якщо бачить рекламу, хтось не готовий продовжувати свій шлях, коли продукт не розуміло як працює з персональними даними, а комусь абсолютно все одно на 10 банерів, він звик і це не впливає на досвід.

Саме тому, деякі компанії роблять навіть різні домени під різні країни, адже продукти настільки кастомізовані що немає сенсу все це поєднувати в один, легше та зрозуміліше розбити на кілька.

Прикладу тут amazon, можна переглянути два домени для різних країн:
https://www.amazon.com/ ( для американського ринку)

https://www.amazon.co.jp/ ( для японського ринку)

Здається, що продукти схожі, але все таки є свої відмнінності.

І пропоную розглянути кілька варіантів кастомізації залежно від джерела трафіку або від географії чи девайсів.

№1 і звичайно найбільш очевидний, сумніваюся що ще залишилися компанії які цього не роблять: це зміна продукту коли юзер зайшов з листа на сайт. При переході з листа ми зазвичай можемо збагатити продукт великою кількістю інформацію про цього самого користувача.

До прикладу, якщо він повертається на сайт з листа з промо акцією, то ми звичайно можемо вказати: Вітаємо Оксано! Твоя персональна знижка на твою улюблену каву вже тут!
Або ж в мене особисто був кейс, коли я переглядала продукт на сайті, не купила його і мені потім прийшло три email зі знижками цього продукту! При переході з листа я бачила цю знижку, але якщо зайти з вкладки інкогніто, то її не було. Компанія розумно помітила, що я досить стабільний клієнт і вирішила що їй продати зі знижкою мені вигідніше ніж не продати. Класна кастомізація і спеціальна email кампанія.

№2. Йдемо далі і поговоримо про приклади кастомізації продукту коли користувач зайшов з платного банеру з соцальної мережі.

В такому випадку варто пам’ятати, що ми цього юзера купити в соцмережі і дуже вірогідно, він не думав про наш продукт коли знаходився в фейсбук чи інстаграм. Тому критично важливо зачепити людину відразу! А отже сайт має бути максимально зрозумілим і нести якийсь один конкретний чіткий посил, чітку пропозицію. Важливо також пам’тати, що цей користувач дістався нам не безкоштовно, а отже потрібно в цілому детально аналізувати чи є сенс закупати трафік.

Я знаю досить багато кейсів, коли нішеві продукти зупиняють закупку в інстаграм або фейсбук тому що аудиторія настільки не очікує побачити їх продукт або не думає під час перегляду соц мереж про закриття цієї потреби, що окупність трафіку мінімально низька.

До прикладу, чи можемо ми рекламувати чистку кондиціонерів в linkedin? :)

№3. Якщо ми беремо платний трафік, але з гугла, там інша ситуація. Користувач щось шукав і ми перекупили його на свій продукт. Це означає, що перехід з такої реклами на наш продукт буде нативним і юзер очікував побачити щось схоже. Гугл в платній рекламі також оперує релевантністю, тому не важливо скільки ви готові платити, якщо запит юзера не релевантний вашому продукту, він його не побачить.

№4. Ще класні кейси кастомізації залежно від моделі телефону. Ні для кого не секрет, що є аналізи даних, які показують, що користувачі Apple техніки набагато частіше купують ніж з інших мобільних девайсів. Тому я знаю кейси, коли кастомізацію цін підписки роблять не лише відштовхуючись від джерела трафіку, а й від моделі телефону. І це працює :)

№5. Ну й сюди швиденько докину мій улюблений кейс, що роблять також кастомізацію по mobile/desktop окремо. Я особисто бачу, що до прикладу booking часто пропонує мені знижку з mobile, і не пропонує з desktop. Тому користуюся цим лайфаком і перевіряю перш ніж бронювати готель ціни з різних пристроїв.

№6. Для деяких продуктів важлива кастомізація по країнах. До прикладу, якщо компанія купляє трафік в Німеччині і в Іспанії, зрозуміло що в першій країні він буде в рази дорожчий. А німці можуть ще й прискіпливіше відноситися до всіх рекламних банерів або ж до роботи з особистими даними. Тому тут важливо також зважати звідки прийшов користувач і готувати продукт під нього. Одні країни агресивно відносяться до червоного, інших цей колір навпаки стимулює щось купляти. Зазвичай не драматично важко підтримувати кілька версій, але це може збільшити дохід в рази.

—------------------

Розуміння джерела трафіку є важливим елементом ефективного продуктового дизайну. Це дозволяє створювати більш персоналізований і релевантний користувацький досвід, що підвищує задоволеність користувачів і сприяє досягненню бізнес-цілей. Використання кастомізації на основі джерела трафіку може суттєво покращити конверсію, ефективність маркетингових кампаній і загальну успішність продукту. Не нехтуйте інформацією, що володієте та експериментуйте!

Ну й кому буде цікаво більше розібратися в Aquisition, запрошую до себе на навчання.

Чому продуктовим дизайнерам потрібно розбиратися в метриках?

Oksana Nosenko — Tue, 19 Dec 2023 10:04:38 +0000

Привіт! Мене звати Оксана і я вже 9 років займаюся аналітикою даних. Зараз я є керівницею команди аналітики в українській продуктовій компанії Jooble. Крім цього я є автором освітніх програм про аналітику, лектором та ментором.

В своєму житті я частенько чула від junior/middle - дизайнерів, що метрики то для аналітиків та product менеджерів, а дизайнери - творці і їм не потрібні всі ці складні цифри.

Я абсолютно не згідна з цим стейтментом і вважаю, що для продуктового дизайнера в IT компанії критично важливо на достатньому рівні розбиратися в метриках.
В цій статті я хочу розібратися чому це важливо і який рівень достатній.

Шлях користувача в продукті

Дизайнеру дуже важливо знати як поводить себе юзер в продукті (Product User Flow). Без цього неможливо зрозуміти сильні та слабкі сторони продукту й важко щось покращувати.
До того ж поведінка користувача може підказати, де щось пішло не за планом, а де навпаки функціонал став супер популярним, хоча цього ніхто не очікував.

Тому хочу привести кілька основних етапів життя користувача в продуктів, на які має спиратися дизайнер у своїй роботі.

Aquisition

Шлях юзера починається зазвичай не з вашого сайту або застосунку. В продукт користувач якось потрапляє. І насправді непогано розуміти як: чи він переходить з гугла, чи з сайту affiliate партнерів, чи з іншої частини вашої екосистеми. Від цього можуть залежати рішення, які ви зможете запропонувати. До прикладу, якщо юзер заходить на вас сайт з Email - розсилки, то посадкова сторінка може виглядати зовсім по іншому, ніж би він прийшов з гугла. Адже якщо у вас є email, то можливо, є ім’я і попередня історія життя в продукті. Це вже дає змогу використати персональні пропозиції або ж кастомізувати вигляд продукту під потреби.

Основне що потрібно знати тут дизайнеру: звідки потрапляють користувачі на сайт?

Activation

Не кожен хто потрапить на ваш продукт може зрозуміти його цінність. Тому критично важливим етапом є активація. Тут саме дизайнерські рішення відіграють ключову роль. Адже потрібно за секунди показати юзеру про що продукт, як ним користуватися та як здобути максимальну цінність.

Лякаючі цифри можна побачити в гуглі, в середньому Bounce Rate на сайтах складах 50%.

Що це означає? Що половина користувачів заходить на сайт і відразу його покидає! Можна лише уявити, що ще більша частина юзерів хоча й не покидає продукт відразу, але не розуміє як ним скористатися або ж не досягає цілі, за якою прийшли.

Тому активація заміряється в кожному продукті по своєму, але важливо розуміти поточний рівень, і якщо він потребує покращення, рухатися в цю сторону.

Які питання має задати дизайнер: чи заміряємо ми активацію? Якщо так, то що ми рахуємо за активацію? Який набір івентів користувача? Чи знаємо ми bounce rate нашого продукту?

Engagement

Далі у нас йде взаємодія з сайтом. Після того як користувач розібрався що це за продукт і навіщо, важливо, щоб він використовував наявний функціонал та закривав свій біль, заради якої й був створений продукт.
Звичайно що дизайнеру дуже важливо орієнтуватися як працюють всі елементи продукту, які є найпопулярнішими й в якого сегмента користувачів. Лише після цього можна щось покращувати.

Які питання має задати дизайнер: чи розуміємо ми який відсоток юзерів користується яким функціоналом? Якщо є складні воронки в продукті, то важливо знати про їх проходження. До прикладу, є форма реєстрації з 5 кроків, скільки відсотків користувачів проходить кожен з цих кроків? Який відсоток взагалі починає проходити реєстрацію? Який відсоток закінчує? Чи є щось цікавого в цьому сегменті юзерів? Тут ще можна дізнатися середню довжину сесії користувача в вашому продукті, це дасть розуміння з яким діапазоном ви взагалі працюєте. Якщо ви придумали супер класну фічу, але на її використання юзеру потрібна 1 хв, а на сайті він в цілому проводить 4 хв, то невелика вірогідність, що 25% свого часу який користувач виділяє вашому продукту він буде готовий виділити новому функціоналу.

Retention

Ну і звичайно основна ціль більшості продуктів та критерій успіху це те, що юзери повертаються на сайт чи в застосунок. Це і є Retention, чим вище Retention, тим з більшою ймовірністю ви можете бути впевненими, що ваш бізнес працює добре, користувачі розібралися з продуктом та він їм створює класну цінність.
Тут уже йде підсилення бренду, адже ваша аудиторія стає ядром, яке навіть при невеликих вливаннях грошей в маркетинг кампанії, все одно буде підтримувати компанію й продукт.
До прикладу, бренд Netflix став уже таким відомим, що більшість користувачів які відвідують сайт просто вбивають домен руками або зберігають в закладках. Люди не гуглять: переглянути фільм, вони просто вбивають netflix.com в браузері та переходять напряму.

Які питання має задати дизайнер: який поточний рівень Retention в компанії? За який період компанія рахує Retention? Тиждень/місяць/рік? Чому саме так? Що рахується в Retention? Якщо користувач просто повернувся чи він має ще й зробити додаткову дію?

Експерименти та гіпотези

Після розуміння поточної картини дизайнер вже може починати формувати гіпотези для покращення певних метрик.
Зазвичай описані вище етапи підсвічують слабкі місця: або користувачі відразу відпадають, або зовсім не користуються функціоналом, або ж дуже слабо повертаються в нього.
На базі цього можна формулювати ідеї покращення і валідувати їх через продуктові АБ тести.
Тут з'являється ще одне викривлення, що аналізувати АБ тест можуть лише аналітики, й дизайнер просто очікує зайде чи не зайде ідея.

Але чому себе обмежувати та залежати від інших людей?
Насправді, дизайнер абсолютно точно може й сам розібратися в ключових метриках, на основі яких приймається рішення по АБ тестах, й використовуючи готові інструменти, розуміти що відбувається з ідеєю, та як вона себе показала.

З чого тут почати? Зазвичай компанія приймає рішення про АБ тести на основі кількох метрик, які дають розуміння про зміни в бізнес цінності та в юзер-цінності. Тому почніть з цього. Бізнес цінність це показник який корелює з доходом компанії. Це можуть бути підписки, або ж відразу дохід в $$$. З користувацькою цінністю трохи складніше, ці показники мають показувати, що ви не зробили гірше для юзера. Це можуть бути ті ж адаптовані Activation/Engagement/Retention.

І ось у нас уже дві метрики, в яких загубитися не так легко. Якщо у вашій компанії немає аналітичного інструменту, де можна дивитися на зміни цих показників, вимагайте його :)

Не варто очікувати аналіз кожного експерименту від аналітиків, звичайно що фінальне слово скоріше за все буде за ними, але проміжні результати, динаміку, розуміння : все добре чи все погано, дизайнер може швидко зрозуміти й використовувати в щоденній роботі. Зайшов, переглянув які тести йдуть точно в мінус, й пішов думати подальші кроки. Експеримент може ще висіти кілька днів, поки мінус стане статистично значущим, але на цей момент в дизайнера уже будуть сформульовані наступні кроки.

Ну і додатково я б рекомендувала взяти 1-2 години консультації по аналітичному інструменту. Якщо компанія використовує Tableau, Amplitude, MixPanel, Google Analytics - попросіть вам розповісти як ними користуватися, що там можна цікавого для вас знайти, зніміть цю зустріч на відео в Zoom і повертайтеся до неї за необхідності.

В моєму досвіді були різні колаборації з дизайнерами: від "не знаємо як звуть один одного", до щоденних зустрічей, щоб розбирати результати текстів та метрики. І звичайно, що другий варіант набагато більше приносить бізнесу в грошах, адже зміни й ідеї людини яка відповідає за UX/UI засновані не лише на досвіді або інтуїції чи останніх трендах в дизайні, а на реальних фактах конкретного продукту. Це робить ідеї якіснішими, а success rate АБ тестів вищим.

Цілі компанії

Останнім додам про цілі компанії, хоча, можливо, це й найголовніше. Розуміння метрик дозволяє дизайнерам розробляти продукт, який сприяє досягненню стратегічних бізнес-цілей. Якщо ми розуміємо, що ціллю компанії стоять гроші й лише гроші, при "треба досягти 3Х до попереднього року", то 10 рекламних банерів Adsense може бути не поганою ідеєю! Але якщо ми бачимо, що як ціль бізнес ставить підняти метрику активації в три рази за один рік, то можливо від реклами взагалі краще відмовитися, адже інколи можна втратити в моменті, але виграти на довшій перспективі. Відмова від реклами може збільшити не лише активацію, але й повернення користувача в продукт, що своєю чергою може гарно впливати на фінансовий стан речей.
Все це не можливо усвідомлено запропонувати без чіткого розуміння куди хоче рухатися компанія й ви як її частина.

Якщо хочете розібратися в метриках або user-flow, доєднуйтеся до навчання, де ми це будемо розбирати або ж підписуйтеся на мій молодий блог :), там я також розповідаю про метрики та аналітичне мислення.

Буду рада коментарям та історіям з власного досвіду в коментарях!

Оксана Носенко про задоволення від роботи, про команду та компетенціїї аналітика

Oksana Nosenko — Fri, 04 Aug 2023 15:36:23 +0000

По-своєму про ІТ – це нова рубрика По-своєму подкасту, у якій ми розбираємось у складних явищах зі світу бізнесу та технологій.

Сьогодні в гостях Оксана Носенко — керівниця команди аналітики у продуктовій IT-компанії компанії Jooble.

Oksana Nosenko
Data Analyst, Jooble

https://www.linkedin.com/in/nosenko-oksana/

Компетенції 21 сторіччя. Або чому hard skills це лише 50% успіху?

Oksana Nosenko — Thu, 29 Dec 2022 12:40:54 +0000

Привіт! Мене звати Оксана Носенко і я керую командою аналітики в українській продуктовій компанії Jooble. Як менеджеру, мені часто приходиться шукати собі співробітників в команду, або ж допомагати в пошуках іншим компаніям, де немає керівника відділу аналітики.
Пошук нових членів команди з кожним роком стає все складнішим, особливо якщо потрібен Middle/ Senior / Lead рівень. Чому? Тому що людей в компанії обирають уже давно не лише за hard skills, тепер половину як не більше, при виборі співробітника відіграють інші, більш софтові та глибинні компетенції.
Тому я б хотіла підняти тему, на які критерії звертаю увагу я та інші hiring менеджери сьогодні.
Для початку було б доцільно зазначити, що компетенції про які буде далі йти мова, підходять не для всіх команд та компанії. Тому перш ніж перейти до якостей, які я шукаю в спеціалістах, хотіла б трохи дати контексту, які повинні бути цінності в компанії та команді, щоб людині з компетенціями про які я розповім, було комфортно працювати.

У 21 сторіччі в IT сфері ми активно забуваємо підхід “відсидіти” 8 годин і піти додому. Робота повинна цікавити, розвивати спеціаліста та надихати його на використання своїх творчих та розумових здібностей на благо бізнесу і на своє власне, як експерта в області.
Деякі компанії навіть заохочують наявність у співробітників додаткових part-time проєктів, розуміючи, що таким чином людина розвивається всебічно і може ще більше принести цінності бізнесу.

Про компанію

Важливі принципи команди та компанії 21 сторіччя:

Емпатія. Здавалося б, навіщо потрібна емпатія на роботі? Але емпатія потрібна навіть не в одному, а у двох напрямках. По перше, спеціалісту для якісної роботи важливо емпатично відноситися до клієнта продукту або клієнта компанії. Адже тільки симпатизуючи клієнту, буде бажання шукати рішення його проблеми, а не просто виконувати бездушно ТЗ. З іншої сторони, має бути емпатія до колег в компанії та команді. Якщо ви недолюблюєте інших учасників процесу, про продуктивність та злагодженість не може йти мова.

Довіра та відкритість. Кожен член команди або компанії повинен мати можливість бути собою, проявляти себе у властивій йому манері, та бути в свою чергу відкритим до такого ж вільного проявлення інших членів команди. Сьогодні часто згадують про diversity і лише лінива компанія не прописала це в своїх підходах, але чи це дійсно працює? Чи згодні компанії розуміти співробітника, якщо він може чимось не вписуватися в стандартну картину? Це можуть бути зовсім різні речі, починаючи від релігії й закінчуючи, що людина може повноцінно функціонувати не раніше 13-ої години дня. На співбесіді можете запитати, чи компанія більше віддає перевагу інтровертам, чи екстравертам? Бізнес, який поважає особистість цінує сильні сторони, а не якісь ярлики. Якщо вам дадуть відповідь, що обирають екстравертів, тому що з ними легше працювати, це означає лише те, що компанія не вміє підсилювати співробітників та йде поверхневим шляхом при виборі співробітників.

Автономність. Сьогодні в командах заохочується самостійність та автономність в роботі, де менеджер довіряє всім учасникам команди та не вдається до постійного контролю. Спеціаліст повинен випрацювати власне відчуття потрібного рівня автономності та вийти на комфортний для нього рівень, звичайно співробітник може звернутися за порадою або допомогою до команди в зручний для нього момент, але без шкоди для бізнесу ( тобто не запізно). Учасник команди має керуватися внутрішньою мотивацією, а не зовнішнім тиском менеджера. Я думаю, тут не потрібно пояснювати, як багато часу та ресурсів економить такий підхід в команді. Менеджер може займатися набагато кориснішими та стратегічно важливішими справами, а не спостерігати за кожним кроком співробітника. Якщо в компаніях потрібно відчиняти двері до туалету по відбитку пальця, це вже не про автономність, це про авторитарний і перевірчий підхід.

Відношення до помилок. В компанії має бути безпечно признавати та приймати помилки. В свою чергу кожен співробітник націлений на високі стандарти якості та підходить до помилок як до досвіду. Член команди, що зробив помилку, замість того, щоб відчувати не продуктивну провину, працює над отриманням максимальної користі від помилки. Потрібно вже забувати старий підхід де було популярним за помилки “тикати носом” та згадувати це для образи. Людей, які щось роблять і не помиляються - не існує. Тому чому б не використати все як корисний досвід ? Я б рекомендувала на співбесідах запитувати потенційного менеджера про його ставлення до помилок. Це дуже добре відображає настрій в компанії та дає вам зрозуміти підхід потенційного керівника до вашої роботи.

З опису вище, думаю ви вже зрозуміли, що рівень команди й компанії в цілому вже має бути високим, щоб того ж вимагати й від потенційного співробітника.

Особисто для себе, я завжди намагаюсь обирати компанії або ж команди, які дотримуються принципів вище. Якщо ж мені випадає вдача, будувати команду самостійно, то я з самого початку вибудовую ці підходи, адже розумію, що хоча на старті обирати людей може бути не завжди легко, з часом - плюси будуть дуже великі.

Я не дуже сприймаю, коли IT компанії які відстежують кожен рух мишкою по екрану, вимагають від спеціаліста цінності та компетенції, які самі не можуть запропонувати.
Тому якщо проходите співбесіди, і описані мною моменти для вас також важливі, не бійтеся ставити запитання:

Чи є в компанії цінності, які вони? Як на прикладах, вони допомагають в досягненні цілей?
Які відносини між менеджментом та підопічними?
Чи є розуміння, як потенційна роль буде допомагати команді або компанії в цілому в досягненні цілей?
Чи буде у вас план розвитку в компанії? Які шляхи взагалі росту, наскільки обмежені зони відповідальності?

Запитуйте про конкретні приклади в тих моментах, що вас цікавлять і які є для вас критичними, коли будете говорити з потенційним лідом.
Для уточнення мікроменеджменту, можете трохи завуальовано уточнити щось таке :
Як ви відноситесь до того, що мені інколи на 2-3 години потрібно сконцентруватися на задачах і я можу не відповідати за повідомлення в slack?
Мікроменеджери дуже люблять робити раптові перевірки - дзвінок через 2 хвилини, тому тут вони себе можуть розкрити.

Або ж для того, щоб зрозуміти чи може потенційний менеджер стати для вас ментором можна в кінці співбесіди запитати, які цікаві теми або професійні матеріали він би вам рекомендував прочитати, з тих, що йому сподобалися найбільше останній час? Можете це аргументувати тим, що довіряєте спеціалістам його рівня і знайти достойні речі для вивчення не завжди легко.

Пам’ятайте, що співбесіда це ваша спільна розмова, не тільки компанія обирає спеціаліста, але й ви маєте право на вибір.

Про кандидата

А що ж до особистісних компетенцій? На чому варто акцентувати увагу та що шукають зараз в кандидатах найбажаніші IT роботодавці?

Першою, напевно, в цьому списку є компетенція критичного мислення. Сьогодні для компанії важливо, щоб кожен співробітник, не важливо керівник чи ні, міг критично ставитися до отриманої інформації. Ми живемо в час величезної кількості інфо потоків і критичне мислення дає можливість не вірити всьому що ти читаєш, не робити швидких та необдуманих кроків на основі цієї інформації та не сприймати все як правду. В компаніях вже від всіх співробітників очікують критичного відношення до вказівок керівництва, задавати уточнюючі запитання, думати, що буде якщо щось піде не так, не піддаватися лише власним бажанням, але й чути думки оточуючих і адекватно їх валідувати.
Існують навіть тести, котрі допомагають визначити поточний рівень критичного мислення, і звичайно є дуже багато книг на цю тему. Тому тема не нова, але все ще актуальна, адже покращення цієї компетенції є довгим та важким процесом.

Додаткові матеріали
Сritical thinking tests
Critical thinking, Logic & Problem Book
Critical Thinking Book

Поряд з критичним мисленням іде компетенція аналітичного мислення. Це систематизована розбивка складного завдання на легко здійсненні частини, бачення кількох можливих причин або кількох наслідків дій, прогноз перешкод та заздалегідь продумування наступного кроку. З назви компетенції може здатися, що це лише для аналітиків, але насправді зовсім не так. Аналітичне мислення має бути обов’язково у всіх менеджерів та людей, що хоч якось приймають рішення або ж є учасниками важливих змін.

Додаткові матеріали
Analytical thinking and critical thinking
3 things you should know about analytical thinking

Орієнтація на досягнення. Компанії вже не шукають співробітників, які будуть робити все по ТЗ і апелювати: ой, а це не було описано, того я нічого і не робив. Middle/Senior спеціалісти мають бути орієнтовані на результат, на ефективність і взагалі завжди думати про те, як буде краще бізнесу. Підхід мікроменеджменту уже застарілий, навіщо контролювати людину додатково, коли можливо знайти співробітника націлено на результат? У такого колеги не буде бажання обманути компанію, адже його ціль - це ціль компанії, його пріоритети - це пріоритети бізнесу. На жаль, тут не так легко порекомендувати якусь додаткову літературу, адже це вибір кожної людини - перейматися чи ні на рахунок результату. Можу лише підсвітити, що якщо вам все одно на ефективність процесу, немає бажання оптимізувати та покращити вашу продуктивність та принести додаткову цінність бізнесу - можливо треба підібрати інше місце роботи, яке вас буде драйвити.

Гнучкість. Тут у нас навички адаптуватися й ефективно працювати у різноманітних ситуаціях, з окремими людьми чи групами, розуміти та цінувати різні / протилежні точки зору, адаптувати підхід, змінювати або легко сприймати зміни. Ми, люди, не любимо адаптуватися. Але світ такий непостійний, що не будучи гнучким в ньому немає шансу на успіх. Цю компетенцію можна пропрацьовувати навіть з психотерапевтом, адже відношення до світу та адаптивність потрібна на всіх рівнях. Особисто по собі скажу, що ця компетенція дається мені найскладніше. Тому що робити щось звичне і думати шаблонами набагато легше, ніж розуміти обставини й адаптуватися під них. Проте людина - це істота яка адаптується. Тому варто тебе трохи підштовхувати в сторону гнучкості.

Додаткові матеріали
ADAPTIVITY AND FLEXIBILITY Book

Впевненість у собі. Також не дуже очевидна компетенція для професійної сфери. Здається, що впевненість в собі не впливає на якість роботи, але насправді дуже навіть впливає.
Впевненість в собі це про

Рішучість
Сила власного «Я»
Незалежність
Сильна Я-концепція
Готовність взяти відповідальність

Без цієї компетенції всі інші можуть бути не такими сильними та впливовими, адже людина просто не може донести свою думку, попередити про свої переживання, застерегти від помилки й так далі. Тому для багатьох позицій важливо, щоб кандидат міг спокійно і відкрито поставити питання фаундерам бізнесу, або знайти та повідомити про помилку, яку допустив CEO бізнесу. IT бізнес націлений на критику ідей, саме так можливо знайти найкрутіше та найоптимальніше рішення. Цю компетенцію також можливо прокачувати зі спеціалістом не лише для роботи, але і для повсякденного життя. Тому що страхи, невпевненість в собі зачиняє досить багато дверей навіть перед дуже крутими експертами.

Ініціатива це

Схильність до дії
Рішучість
Стратегічна орієнтація на майбутнє
Використання можливостей
Проактивність

Бізнес наразі цінує саме тих співробітників, які не прикриваються своєю зоною відповідальності та не чекають поки якісь проблеми вирішаться самостійно, а проявляють ініціативу і діють проактивно. Коли людина бачить будь-яку проблему в компанії, вона як мінімум не мовчить про це, запитує, та намагається знайти відповідального. Здавалося, сигналізувати про якусь проблему не так важко, але на практиці більша частина співробітників просто пройде мимо. Звичайно ініціативність підкріплюється попередньою компетенцією також.

Додаткові матеріали
10 Initiative Skills and How To Improve Them
17 Tips on How to Take Initiative at Work

Постійна жага до навчання та покращення власної роботи та роботи всієї команди або компанії. Співробітник відкритий до навчання та глибшого пізнання своєї професійної сфери, або інших суміжних сфер, потрібних для якісної роботи на необхідному рівні. Часто люди вважають, що якщо вони уже працюють - нічого нового їм дізнаватися не потрібно, але це не так. Навіть для експерта у своїй доменній області завжди є дуже багато потрібного та цікавого, що можливо вивчити зі суміжних сфер. Візьмемо до прикладу аналітика. Крім всього пов’язаного з даними, я завжди рекомендую спеціалістам поглиблювати знання в продакт менеджменті, seo, фасилітації, презентації та розвивати комунікаційні уміння. До комунікації та презентації йде також вивчення англійської мови. Тому не зачиняйтесь від нової інформації, на зустрічах не відключайтесь, коли говорять не про вас, а намагайтесь також зрозуміти мотиви та потреби інших колег та бізнес-юнітів.

Це основні компетенції, які в першу чергу важливо прокачувати в собі. Я б після них порекомендувала переходити до системного мислення. Ця компетенція вчить бачити все навколо як систему та знаходити на які важелі найкраще впливати й досягати результатів. Також розвиваючи системне мислення ви навчитесь бачити варіативність розвитку подій і будете готові до різного результату. Це складна компетенція, особисто я ще лише на початку цієї подорожі.

Додаткові матеріали
Системи та системне мислення для управлінців КУРС
Thinking in Systems Book
Systems Thinking For Social Change Book
The Fifth Discipline Book

Також буде корисно ознайомитися хоча б азами ненасильницького спілкування (HHC). Це зробить вашу комунікацію якісною, продуктивною та професійною.

Додаткові матеріали
Ненасильницьке спілкування. Мова життя Book

Зрозуміло що, навіть коли у вас всі ці компетенції уже наявні на якомусь рівні, їх можна розвивати майже нескінченно. Крім тих прикладів, що я привела, є дуже багато книг та матеріалів по кожній компетенції. По деяких проводять класні воркшопи сертифіковані коучи.

Сьогодні вивчити мови програмування або інші інструменти уже не важко, а ось прокачати себе як особистість, як залученого та не байдужого співробітника - це те, що за тиждень на інтенсиві не досягнути. Адже це не просто знання, це поведінки та відношення до світу, до роботи.

Деякі компанії, для яких такі компетенції є дуже важливими, уже давно зрозуміли, що якщо їх немає на співбесідах, виховати їх надалі буде складно. Тому якраз зараз і зустрічаються довгі етапи інтерв'ю, коли компанія перевіряє наявність у вас не лише потрібних знань, але й поведінок. Глибинні компетенції не можна перевірити через тестове або технічну годинну бесіду, через цю причину часто з кандидатом спілкуються різні люди з компанії, задають не робочі, а просто життєві запитання. Інколи бізнес навіть готовий закрити очі на відсутність технічних знань і достатнього досвіду, якщо всі компетенції на високому рівні. Тому що SQL кандидат може вивчити за три місяці, а ініціативність і орієнтацію на досягнення розвивати в собі можна роками.

Продуктове А/Б тестування. Як не стати жертвою своєї впевненості у гіпотезі?

Oksana Nosenko — Sun, 04 Sep 2022 13:06:17 +0000

Всім привіт! Мене звуть Оксана Носенко, я Head of Analytics в українській продуктовій компанії Jooble. І сьогодні я хочу зачепити тему А/Б тестування в компаніях.

Рано чи пізно компанії приходять до того, що будь-які зміни в продукті варто впроваджувати тільки після проведення А/Б експерименту.

Звичайно, на початку зародження продукту сенсу в тестуванні немає, адже будь-які зміни, швидше за все, носять характер must have і впроваджуються просто тому, що продукт без них буде неповноцінним і ненаповненим. Та й при старті, аудиторії на якій щось можна щось тестувати може бути недостатньо, щоб бути впевненими в результатах. Тому компанії приходять до рішення релізити новий функціонал без розгалуження його на різні групи та заміряють метрики загалом, просто перевіряючи, що нічого не зламалося.

Але коли компанія і продукт стають зрілішими, і виникає бажання “погратися” з візуальними елементами, впроваджувати невеликі зміни чи вибирати зі списку фічей найнеобхідніші для користувача, на допомогу приходить А/Б тестування.

А/Б тестування дає однозначні відповіді на запитання і не залишає місце для здогадів і припущень.

Чи подобається користувачам новий дизайн продукту?
Чи помітять вони новий функціонал і чи ним користуватимуться?
Чи можемо ми непомітно і без шкоди для продукту додати кілька рекламних блоків?
Чи відкриватимуть новий тип листа чи він канібалізує існуючі?
Чи принесе новий функціонал більше цінності користувачеві чи розсіє його увагу?

Запитань може бути дуже багато, і на жаль, дуже часто продакт овнери намагаються на них відповісти, користуючись своєю інтуїцією, а не довіряючи відповіді аудиторії свого продукту.

Чому довіряти нашій інтуїції чи нашому досвіду може бути погано для продукту?

Тому що ми, швидше за все, не ЦА нашого продукту.
Тому що ми упереджені та визнати помилку – це визнати втрату грошей, витрачених на експеримент.
Тому що для нас завжди тестований варіант виглядає оптимальнішим і кращим, не дарма ж ми його реалізували.
Тому що ми не знаємо, з якого вже існуючого функціоналу в продукті перехопимо увагу користувача на нові фічі.
Тому що 80% всіх експериментів зазвичай провальні, і тільки ґрунтуючись на даних ми можемо виловити ті 20%, що залишилися.
Тому що у нас може бути багато варіантів покращень, і варто дати можливість користувачеві вибрати найбільш підходящий для нього.

Припустимо, я вас переконала і ви все ж таки вирішили почати впроваджувати А/Б тестування у своїй компанії.

З чого почати А/Б тестування?

Дуже важливо підготувати технічну та аналітичну бази для тестування, поставленого на потік. Для того, щоб ваші А/Б гілки були рівномірними і рівнозначними, з технічного боку варто подбати про функціонал, який розбиватиме всю аудиторію продукту на рівні випадкові групи. Зазвичай, прив'язуються до cookie label у web, та device id у mob. Важливо, максимально точно визначити користувача і розбивати на гілки тестування саме користувача, а не, наприклад, його візити. Адже якщо відвідувач сьогодні побачить дефолтний функціонал, завтра - той, що тестується, а післязавтра знову дефолтний – враження від вашого продукту буде не дуже, а показники до того ж стануть нерелевантними.

На скільки гілок можна розбивати аудиторію? Тут все залежить від її обсягів, але я не рекомендувала б тестувати більше 3-4 груп у рамках одного експерименту. Звичайно, хочеться за раз провести тест з усіма можливими дизайнами, але це небезпечно тим, що тест доведеться тримати на продукті кілька місяців, поки збереться достатня кількість користувачів. Такий підхід не гнучкий і не дозволяє робити швидкі покращення. Дайте вашій команді дизайну проголосувати за запропоновані варіанти, і виберіть із 10 всього 3, які наберуть найбільше голосів.

Що відноситься до аналітичної бази? Ваша команда аналітики може підготувати інструменти, які дозволять бачити основні метрики продукту із розбивкою на тестові групи та експерименти. У такому разі у вас не буде необхідності наступного дня після запуску тесту нудитися в очікуванні хоч якихось показників і дошкуляти аналітика своїми "Ну як там?". Ви зможете вільно зайти в аналітичний інструмент і побачити основні показники самостійно. Звичайно, якийсь глибший аналіз доведеться почекати, але завдяки готовим інструментам ви зможете і самі розуміти успішний тест чи ні. Такий підхід дозволить проводити тести швидше та вдаватися до допомоги аналітиків лише за необхідності додаткових досліджень. А такі дослідження потрібні лише за масштабних тестів.

Які ще є заборони, які варто пам'ятати під час проведення експериментів?

Не робити висновків завчасно. Найбільший біль аналітика, коли продакт овнер хоче застосовувати тест, не дочекавшись статистично значущих результатів. (Що це таке, можна почитати тут). Це зазвичай стосується звичайно експериментів, які в перші дні показують позитивну динаміку. Зростання показника навіть на +0.1% може підштовхнути продакт овнера до поспішних радісних висновків та поспішному рішенню застосувати тест на всій аудиторії. Найчастіше такі коливання нормальні, особливо в перші дні тесту, тому дуже важливо дочекатися потрібної кількості аудиторії у кожній гілці.
Не запускати одночасно кілька експериментів, націлених на ту саму частину продукту. Уявіть, що одна команда тестує редизайн фільтра на сайті, інша – послідовність елементів фільтра, третя – місце, де цей фільтр розташовується. Якщо користувач потрапить у групу хоча б із двома змінами, його результати вже будуть неправильними. Дуже важливо відстежувати такі моменти і тестувати схожі експерименти або послідовно, або технічно розносити тести один від одного, щоб користувач міг потрапити лише на один змінений елемент.
Не намагатись дати експерименту шанс. Дуже часто я стикалася з ситуацією, коли команда дочекалася потрібної кількості аудиторії, гілка, що тестується, показала не статистично значуще зростання (тобто закладений в експеримент показник покращився, але його поліпшення могло бути випадковим), але овнер тесту хоче застосовувати його зі словами: “У експерименту є потенціал”. Це помилкове судження, адже тестування показало, що новий функціонал ніяк не вплинув на метрики, тому чекати, що після його застосування на всю аудиторію, щось змінитися - неправильно.
Не проводити 101 тест, націлений на одне й теж. У моїй практиці частенько були випадки, коли команда чи продакт овнер безнадійно намагаються покращити якусь частину продукту. Візьмемо, наприклад, дизайн листів. Ставалися ситуації, коли проводили по 5-6 тестів, націлених на поліпшення клікабельності якогось окремого листа, при цьому не отримуючи жодних позитивних результатів. У такому разі важливо вчасно зупинитися та перейти на іншу ініціативу. Адже якщо не вийшло з другого чи третього разу, швидше за все, якщо потенціал у покращенні і є, він незначний. Адже функціонал, який потребує поліпшення, піддається експериментам майже одразу. Якщо дизайн супер застарілий або неоптимальний, і ви намагаєтеся його змінити на більш актуальний, метрики не забаряться. Але якщо ваші спроби не увінчалися успіхом, можливо потенціал покращення тут невеликий.
Не аналізувати тест довше, ніж ми його проводили. Я неодноразово працювала в командах, які хотіли витратити тиждень-два роботи аналітика на супер глибокий аналіз експерименту. В принципі, це може бути не марна трата часу, якщо експеримент був для нас стратегічно важливий, складний технічно і повинен стати початком для нового ланцюжка комплексних тестів. Але, якщо ми тестували невеликий функціонал, наприклад, новий дизайн якогось елемента на сайті, витрачати купу часу на вивчення та аналіз цього експерименту не варто. У таких ітераціях треба рухатися швидко та гнучко. Відповідь лежить на поверхні, йти у пошук глибоких істин не варто.

Як зробити фінальне рішення щодо експерименту?

Насправді це не так просто, як здається. Теоретично, тест чи успішний чи ні. Усі метрики або яскраво горять зеленим, або жахливе мерехтять червоним. Але на практиці не все так однозначно – одна частина метрик може рости, інша – падати, а третя взагалі буде без змін. Тому важливо зробити правильне зважене фінальне рішення. Ще перед початком експерименту варто подумати, які показники ми хочемо покращити і насамперед при аналізі дивитися на них. Але важливо не забути про ключові або цільові показники компанії. Якщо ви покращуєте Activation своїм експериментом, але просідає Retention, а виростити Retention це поточна мета бізнесу, варто серйозно задуматися перед прийняттям тесту. Швидше за все, варто знайти причину в просіданні Retention і робити другу ітерацію. Фінальне рішення можуть ухвалювати різні люди. Найчастіше це продакт менеджет, CPO, керівник аналітики або овнер експерименту. Хто б це не був, якщо експеримент показує спірні результати, я раджу зібрати кілька спеціалістів та ухвалити спільно рішення.

Важливо пам'ятати, не варто застосовувати тест просто для кількості успішних експериментів, кожен новий функціонал - це ймовірність нових помилок у продукті. Тому краще спірний експеримент не застосувати, якщо у вас немає на нього подальших планів.

Які ще моменти варто врахувати при А/Б тестуванні?

Документація. Найбільша проблема для нового продакт овнера - зрозуміти, що вже тестували до нього. Тому вести документацію експериментів критично важливо. Ви зможете зберегти в одному місці дизайни, результати, висновки. Це дозволить новим співробітникам компанії швидко розуміти, які тести вже проводилися та які результати у них були.
Не варто тестувати все на світі, деякі речі можна впроваджувати без тестування, якщо ви не боїтеся припуститися технічної помилки.
Вірте числам, не намагайтеся підлаштовувати метрики під свої бажання. Іноді спеціально намагаються вигадати складні аналітичні метрики, які покажуть позитивний ефект тесту. Це самообман, адже експеримент має покращувати загальновизнані показники у компанії, які всім легко зрозуміти та інтерпретувати.
Діліться досвідом, не приховуйте проведені експерименти, байдуже, успішні вони чи ні. Якщо у вашій компанії є команди, які проводять тестування, дайте їм знати про свої результати.

Сподіваюся, ця стаття допоможе вам трохи розібратися в темі А/Б тестування. Буду рада питанням!

Data-driven підхід у продуктовому дизайні

Oksana Nosenko — Mon, 25 Jul 2022 15:48:56 +0000

Вітання! Мене звуть Оксана Носенко, я керівник команди аналітики в українській продуктовій компанії Jooble. І сьогодні хотіла б поговорити про те, чому дизайнерам варто звертатися до даних та як аналітика може допомогти у покращенні UX/UI.

Дуже часто у компаніях команди дизайну та аналітики можуть перетинатися лише на корпоративах або на all hands зустрічах. Адже зони відповідальності цих команд не дуже стикаються. Дизайнери створюють гарні інтерфейси, пропонують, на їхній погляд зручні для користувача рішення, застосовують сучасні тенденції. Аналітики ж будують графіки, рахують дохід, кажуть результати щодо А/Б експериментів.

Але є кілька дуже вагомих причин, які мають пробудити у дизайнера бажання постійно контактувати з аналітиками.

Розуміння аудиторії продукту

Дизайн продукту значно залежить від аудиторії, яка далі користуватиметься цим продуктом. З мого досвіду можу сказати, різні сегменти користувачів дуже по-різному реагуватимуть на схожі зміни. Я працювала з продуктом, де аудиторія була дуже технічно обізнаною і зналася на останніх IT трендах. Кожну зміну у продукті ми робили дуже акуратно та вивірено, адже «поранити» користувачів було легко. Десь трохи двояке формулювання чи неточність викликало негативний сплеск. А нові суперечливі рішення у дизайні засипали нашу сапорт команду скаргами на незручний UI. І була протилежна ситуація, коли аудиторія вже іншого продукту була невибагливою до останніх технічних тенденцій і краще реагувала на такі рішення, як величезні раптові попапи, великі шрифти і яскраві банери. Здавалося б, агресивні рішення в дизайні, навпаки, повинні відлякувати людей, але в даному випадку аудиторії було властиво набагато простіше робити те, що пропонують і мати лише один явний фокус, створений для них заздалегідь.

Вирішення проблеми

Найчастіше дизайнери допомагають вирішити якусь явну або неявну проблему користувача. Але як дізнатися, що користувач має цю проблему? Деякі речі можуть здаватися для дизайнера або розробника суперлогічними, але насправді виявляється, що реальні користувачі не мали потреби в тому, що ми їм пропонуємо. Тому перш, ніж занурюватися у вирішення надуманих проблем, можна заощадити час, просто подивившись дані. Наприклад, всім добре відомо, що додаткові кроки воронки можуть відлякати користувача та є ймовірність, що чим більше етапів — тим вища ймовірність, що ми втратимо користувача. В одній із команд ми почали розробляти нове флоу реєстрації, оскільки старе містило аж 5 етапів. Нам здавалося, що об'єднавши перші три етапи в один, ми істотно збільшимо кількість зареєстрованих користувачів. Але подивившись аналітику стало зрозуміло, що на цих етапах ми втрачаємо лише 10% від усіх користувачів користувачів, що почали процес. А основна проблема в реєстрації була на останньому етапі, де треба було ввести невиправдано складний пароль і користувачі відвалювалися після 2-3 спроби. Проблема існувала, але не там, де нам здавалося.

Feature usage

Дизайнеру важливо розуміти, як працює рішення, яке він запропонував та порівнювати використання свого рішення з аналогічними чи попередніми версіями. У мене був досвід, коли ми проводили редизайн всього email marketing. Це була ідея дизайн-команди. Їм дуже сильно не подобався зовнішній вигляд наших листів, який не змінювався за останні 5 років. Ми зробили А/Б тест і отримали просадки в тестових групах. Користувачі гірше клацали на новий сучасний шаблон. Аналітики вже хотіли рекомендувати не застосовувати тест, але наша дизайн-команда не здавалася, адже старе рішення було явно гіршим. Вони попросили нас зробити додатковий аналіз із розбивкою на когорти нових і старих користувачів. Виявилося, що нові користувачі реагують чудово на редизайн, тоді як старі швидше за все звикли вже до попередньої версії і новий дизайн не клікали. І оскільки стара когорта становила близько 80% від усієї аудиторії, їх результати дуже впливали на весь тест. Як рішення: ми впровадили редизайн для нових користувачів, а старим дали вибір шаблону через особистий кабінет. Протягом року багато користувачів оновилися в продукті і ми вимкнули старий дизайн повністю.

Пріоритизація дизайн-беклога

Як зрозуміти, яке завдання робити перше, яке друге і так далі? Можна, звичайно, слідувати старому доброму способу: хто більше з менеджерів кричить або пише в особисті повідомлення - тому пріоритетніше за всіх. Але як здоровіший підхід - дізнатися потенціал кожного функціоналу. Припустимо, у беклозі висить три редизайни форм підписок. Скоріше за все, дуже швидко можна знайти в аналітиці, скільки ж реєстрацій ми маємо з кожної такої форми і розпочати роботу саме з тієї форми, якою користується найбільше користувачів. Якщо з даними для пріоритизації не все так просто, буде не зайвим звернутися до команди аналітики та уточнити у них приблизні обсяги аудиторії, на які вплине зміна.

Вертикальне зростання дизайнера

На ринку зараз дуже цінуються дизайнери, які можуть працювати з даними. Це років 10 тому було нормально для дизайнера жити у вакуумі і не думати про те, що відбувається з його чудовими дизайнами після їх реалізації. Нині ж бізнес запитує в дизайнера проактивніший і ширший підхід. Senior дизайнер повинен добре оперувати основними продуктовими показниками, знати, що впливає на User Retention, Adoption чи Stickiness. Орієнтуватися, де в продукті aha-moment, відстежувати, як змінюється Bounce Rate, Session Duration, на яких етапах воронки відбувається втрата користувача і де вона аномальна. Без чіткого розуміння продукту зростання дизайнера неможливе, а таке розуміння не можна знайти без аналітики.

Що ж варто зробити, щоби почати працювати з даними?
Якщо ви працюєте дизайнером в продуктовій компанії і зацікавилися доступом до даних, почніть дізнаватися які системи аналітики використовують у вас.

Це можуть бути такі рішення як

Google Analytics
MixPanel
Amplitude
Tableau
Power BI
DataStudio

Якщо вам відповіли, що хоч щось із цього списку впроваджено в компанії, не бійтеся та просіть доступ. Всі ці системи вимагають мінімального часу для адаптації вас як користувача, а не розробника. Витративши навіть тиждень, ви легко освоїтеся і знатимете де і що корисного можна піддивитися.

Не бійтеся великого обсягу даних та аналітики. Це може сильно налякати на самому початку, просто дайте собі час. Через якийсь період, дизайнер зможе читати графіки та таблиці не гірше за іншого спеціаліста. Для скорочення адаптаційного періоду не варто боятися вимагати допомоги у команди аналітики. Спеціалістам які працюють з даними буде дуже приємно, що у вас виник запит на доступ та розуміння інформації. Витратити час на інтро їм буде не складно.

Ну і насамкінець я б хотіла сказати, що в моїй практиці були дуже продуктивні колаборації з дизайнерами. Аналітик зі своїм знанням цифр плюс дизайнер з емпатією до користувача можуть генерувати супер круті продуктові рішення, які були б неможливі за участю лише одного з цих напрямків.

Data-driven подход в продуктовом дизайне

Oksana Nosenko — Mon, 18 Jul 2022 15:50:35 +0000

Ця стаття українською:

Data-driven підхід у продуктовому дизайні

Oksana Nosenko ・ Лип 25 '22

#ux #analytics #ua

Привет! Меня зовут Оксана Носенко, я руководитель команды аналитики в украинской продуктовой компании Jooble. И сегодня хотела бы поговорить о том, почему дизайнерам стоит обращаться к данным и как аналитика может помочь в улучшении UX/UI.

Очень часто в компаниях команды дизайна и аналитики могут пересекаться только на корпоративах или на all hands встречах. Ведь зоны ответственности этих команд не сильно соприкасаются. Дизайнеры создают красивые интерфейсы, предлагают, на их взгляд удобные для пользователя решения, применяют современные тенденции. Аналитики же строят графики, считают доход, говорят результаты по А/Б экспериментам.

Но есть несколько очень веских причин, которые должны пробудить у дизайнера желание постоянно контактировать с аналитиками.

Понимание аудитории продукта

Дизайн продукта очень сильно зависит от аудитории, которая дальше будет пользоваться этим самым продуктом. С моего опыта могу сказать, что разные сегменты юзеров совсем по-разному будут реагировать на похожие изменения. Я работала с продуктом, где аудитория была очень технически прокачанной и разбиралась в последних IT трендах. Каждое изменение в продукте мы делали очень аккуратно и выверено, ведь «ранить» пользователей было легко. Где-то немного двоякая формулировка или неточность вызывала негативный всплеск. А новые спорные решения в дизайне засыпали нашу сапорт команду жалобами на неудобный UI. И была так же противоположная ситуация, когда аудитория уже другого продукта была непритязательной к последним техническим тенденциям и гораздо лучше реагировала на такие решения, как огромные внезапные попапы, большие шрифты и яркие банера. Казалось бы, агрессивные решения в дизайне наоборот должны отпугивать людей, но в данном случае аудитории было свойственно гораздо проще делать то, что предлагают и иметь только один явный фокус, созданный для них заранее.

Решение проблемы

Зачастую дизайнеры помогают решить какую явную или неявную проблему пользователя. Но как узнать, что у пользователя есть эта проблема? Некоторые вещи могут казаться для дизайнера или разработчика суперлогичными, но на деле оказывается, что у реальных юзеров не было потребности в том, что мы им предлагаем. Поэтому прежде, чем погружаться в решение надуманных проблем, можно сэкономить время просто посмотрев данные. Например, всем хорошо известно, что дополнительные шаги воронки могут отпугнуть юзера и есть вероятность, что чем больше этапов, тем выше вероятность, что мы потеряем юзера. В одной из команд мы начали разрабатывать новое флоу регистрации, так как старое содержало аж 5 этапов. Нам казалось, что, объединив первых три этапа в один, мы существенно увеличим количество зарегистрированных пользователей. Но посмотрев аналитику стало понятно, что на этих этапах мы теряем только 10% от всех начавших процесс пользователей. А основная проблема в регистрации была на последнем шаге, где надо было ввести неоправданно сложный пароль и юзера отваливались после 2-3 попытки. Проблема существовала, но абсолютно не там, где нам казалось.

Feature usage

Дизайнеру важно понимать, как работает решение, которое он предложил и сравнивать использование своего решения с аналогичными или предыдущими версиями. У меня был опыт, когда мы проводили редизайн всего email marketing. Это была идея дизайн-команды. Им очень сильно не нравился внешний вид наших писем, который не менялся последних лет 5. Мы сделали А/Б тест и получили просадки в тестовых группах. Пользователи хуже кликали на новый современный шаблон. Аналитики уже хотели рекомендовать не применять тест, но наша дизайн-команда не сдавалась, ведь старое решение было очевидно хуже. Они попросили нас сделать дополнительный анализ с разбивкой на когорты новых и старых юзеров. И действительно, оказалось, что новые юзера реагируют прекрасно на редизайн, в то время как старые скорее всего привыкли уже к предыдущей версии и новый дизайн не кликали. И так как старая когорта составляла около 80% от всей аудитории, их результаты очень сильно влияли на весь тест. Как решение: мы внедрили редизайн для новых пользователей, а старым дали выбор шаблона через личный кабинет. В течение года почти все юзера обновились в продукте и мы выключили старый дизайн полностью.

Приоритизация дизайн-бэклога

Как понять, какую задачу делать первую, какую второй и так далее? Можно, конечно, следовать старому доброму способу: кто больше из менеджеров кричит или пишет в личку, тому приоритетнее всех. Но как более здравый подход – узнать потенциал каждой задачи. Допустим, в бэклоге висит три редизайна форм подписок. Скорее всего, очень быстро можно найти в аналитике, сколько же регистраций мы имеем с каждой такой формы и начать работу именно с той формы, которой пользуется больше всего юзеров. Если с данными для приоритизации не все так просто, будет не лишним обратиться к команде аналитики и уточнить у них приблизительные объемы аудитории, на которые повлияет изменение.

Вертикальный рост дизайнера

На рынке сейчас очень ценятся дизайнеры, которые умеют работать с данными. Это лет 10 назад было нормально для дизайнера жить в вакууме и не думать, о том, что происходит с его прекрасными работами после их реализации. Сейчас же бизнес спрашивает с дизайнера более проактивный и широкий подход. Senior дизайнер должен хорошо оперировать основными продуктовыми показателями, знать, что влияет на User Retention, Adoption или Stickiness. Ориентироваться, где в продукте aha-moment, отслеживать как меняется Bounce Rate, Session Duration, на каких этапах воронки происходит потеря пользователя и где она аномальная. Без четкого понимая продукта рост дизайнера невозможен, а такое понимание нельзя обрести без аналитики.

Что же стоит сделать, чтобы начать работать с данными?
Если вы работаете дизайнером в продуктовой компании и заинтересовались в доступе к данным, начните узнавать какие системы аналитики используют у вас.

Это могут быть такие решение как:

Google Analytics
MixPanel
Amplitude
Google Analytics
Tableau
Power BI
DataStudio

Если вам ответили, что хоть что-то из этого списка внедрено в компании, не бойтесь и просите доступ. Все эти системы требуют минимального времени для адаптации вас как юзера, а не разработчика. Потратив даже неделю вы легко освоитесь и будете знать где и что полезного можно подсмотреть.

Не бойтесь большого объема данных и аналитики. Это может сильно испугать в самом начале, просто дайте себе время. Через какой-то период, дизайнер сможет читать графики и таблицы не хуже другого специалиста. Для сокращения адаптационного периода, не стоит бояться запрашивать помощь у команды аналитики. Специалистам по данным будет очень приятно, что у вас возник запрос на доступ и понимание данных. Потратить время на интро им будет не сложно.

Ну и в заключение я бы хотела сказать, что в моей практике были очень продуктивные коллаборации с дизайнерами. Аналитик со своим знанием цифр плюс дизайнер с эмпатией к юзеру могут генерировать очень крутые продуктовые решения, которые были бы невозможны при участии только одного из этих направлений.