Качественное юзабилити-тестирование направлено на выявление проблем интерфейса, в то время, как количественное юзабилити-тестирование предназначено для предоставления метрик, фиксирующих поведение всех ваших пользователей.
На наших курсах количественного юзабилити (Measuring UX and ROI и Statistics for UX) мы часто рекомендуем значительное количество участников для проведения количественных исследований – обычно более 30. Мы снова и снова повторяем, что показатели, собранные при качественном юзабилити-тестировании, часто вводят в заблуждение, и не распространяются на пользовательскую базу в целом. (Могут быть исключения, но вам всегда нужно проверять их, вычисляя доверительные интервалы и статистическую значимость). И почти неизбежно мы слышим возражение: «Разве Якоб Нильсен не рекомендовал 5 пользователей для тестирования юзабилити?» Если вам нужно больше пользователей по статистическим причинам, это определенно означает, что результаты, полученные с 5 пользователями, недействительны, не так ли?
Этот вопрос нам задают настолько часто, что необходимо устранить недоразумение.
Количественные исследования юзабилити: более 5 участников
Количественные исследования юзабилити обычно носят итоговый характер: их цель – измерить юзабилити системы (сайта, приложения или какого-либо другого продукта), получая одно или несколько значений. Эти исследования пытаются понять, насколько хорош интерфейс для пользователей, рассматривая различные показатели: сколько пользователей от общего числа могут выполнить одну или несколько основных задач, сколько времени это займет у них, сколько ошибок они совершат, и насколько они довольны своим опытом. Обычно они включают в себя сбор значений для каждого участника, агрегирование этих значений в сводной статистике, такой как средние значения или показатели успешности, вычисление доверительных интервалов для этих агрегированных показателей, и сообщение вероятных диапазонов истинных оценок для всех пользователей.
Результаты такого исследования могут указывать на то, что вероятность успеха главной задачи для всех пользователей где-то между 75% и 90% с уровнем достоверности 95%, а время выполнения задачи составляет от 2,3 до 2,6 минут. Эти диапазоны (по сути, доверительные интервалы) должны быть довольно узкими, чтобы передавать любую интересную информацию (знание того, что вероятность успеха составляет от 5% до 95%, не очень полезно, не так ли?), и они обычно узкие, только если вы включаете большое количество участников (40 и более). Следовательно, рекомендуется рассчитывать доверительные интервалы для всех собранных показателей и не полагаться на сводную статистику, когда исследования включают всего несколько пользователей.
Качественные исследования юзабилити: предположения, лежащие в основе руководства теста с 5 пользователями
Напротив, качественные исследования пользователей в основном носят формативный характер: их цель – выяснить, что не работает в дизайне, исправить это, а затем перейти к новой, более совершенной версии. Новая версия обычно также тестируется, улучшается и т. д. Хотя можно проводить качественные исследования, преследующие сводные цели (давайте посмотрим, что не так с нашим текущим веб-сайтом!), в большинстве случаев они просто стремятся улучшить существующую итерацию дизайна. Качественные исследования (даже если они являются итоговыми) не пытаются предсказать, сколько пользователей выполнят задачу, и не пытаются выяснить, сколько людей столкнется с какой-либо конкретной проблемой юзабилити. Они предназначены для выявления проблем юзабилити.
Якоб Нильсен рекомендует качественное тестирование с 5 пользователями. В основе этой рекомендации лежат три основных предположения:
- Что вы пытаетесь выявить проблемы дизайна. По определению, проблема – это некая проблема юзабилити, с которой пользователь сталкивается при использовании дизайна.
- Любая проблема, с которой кто-то сталкивается, заслуживает исправления. Проведеманалогию для этого предположения: если один человек упал в яму, вы знаете, что вам нужно это исправить. Вам не нужно, чтобы 100 человек упали в нее, чтобы решить, что ее нужно исправить.
- Вероятность того, что кто-то столкнется с проблемой, составляет 31%.
Основываясь на этих предположениях, Якоб Нильсен и Том Ландауэр построили математическую модель, которая показывает, что, выполнив качественный тест с 5 участниками, вы определите 85% проблем интерфейса. И Якоб Нильсен неоднократно утверждал (и справедливо), что хорошее вложение – это начать с 5 человек, найти 85% проблем, исправить их, затем снова протестировать с еще 5 людьми и так далее. Не стоит пытаться найти все проблемы за один тест, потому что вы потратите слишком много времени и денег, и тогда вы обязательно внесете другие проблемы в редизайн.
Обратите внимание, что «метрики», собранные в количественных и качественных исследованиях, сильно различаются: в количественных исследованиях вас интересует, как ваши пользователи в целом будут оценивать такие показатели, как успешность задания, ошибки, удовлетворенность и время выполнения задачи. В качественных исследованиях вы просто учитываете проблемы юзабилити. И хотя существует статистическая неопределенность относительно любого числа, полученного в результате количественного исследования (как среднее значение, полученное в результате моего исследования, будет сравниваться со средним значением для пользовательской базы в целом), в количественном исследовании нет абсолютно никакой неопределенности – любая выявленная ошибка является ошибкой, которую необходимо исправить.
Подвергая сомнению предположения, лежащие в основе руководства для 5 пользователей
Я дал вам список предположений, на которых основано руководство проведения теста с пятью пользователями. Однако вы можете не согласиться с некоторыми из них. Я не думаю, что есть повод не соглашаться с первым предположением, но вы можете выдвинуть ряд веских возражений против второго и третьего.
Нужно ли исправлять какие-либо ошибки, с которыми кто-то сталкивается? Кто-то может возразить, что, если 1000 человек из 1000 упадут в яму, вам придется ремонтировать дорогу, но не тогда, когда в нее упадет только один человек из 1000. При качественном исследовании юзабилити у вас нет гарантии (основанной только на исследовании), что с выявленной проблемой, вероятно, столкнется больше пользователей, чем те, которые случайно столкнулись с ней в вашем исследовании. Таким образом, результаты не могут быть распространены на всех пользователей.
Да, при желании вы можете провести количественное исследование, чтобы предсказать, сколько людей в общей популяции могут столкнуться с той или иной ошибкой. И тогда вы можете расставить приоритеты ошибок в зависимости от их вероятности и исправить те, которые имеют наивысший приоритет. Хотя этот подход, безусловно, очень разумен, он, вероятно, будет также очень расточительным – вам нужно будет протестировать свой дизайн с довольно большим количеством пользователей, чтобы определить основные проблемы, затем исправить их и представить другие, которые необходимо будет определить и расставить по приоритетам.
Вместо этого качественный подход предполагает, что дизайнеры будут использовать другие средства для определения приоритетов различных проблем – возможно, некоторые из них слишком дороги для исправления, а другие связаны с функциональностью, которую, вероятно, будут использовать лишь некоторые из ваших пользователей. Качественное пользовательское тестирование просто дает вам список проблем. Задача исследователя – расставить приоритеты среди различных проблем и двигаться дальше.
Шанс столкнуться с проблемой в интерфейсе 31%? Число 31% было основано на среднем значении по нескольким проектам, запущенным в начале 90-х годов. Возможно, с тех пор шанс столкнуться с проблемой изменился. Также возможно, что по мере того, как вы выполняете все больше итераций дизайна и исправляете все больше и больше ошибок, юзабилити вашего продукта значительно улучшается и, на самом деле, становится труднее сталкиваться с новыми проблемами.
Хорошая новость заключается в том, что вероятность возникновения ошибки в интерфейсе – это всего лишь параметр в модели Нильсена и Ландауэра. Итак, если вы знаете, что ваш интерфейс довольно хорош, вы можете просто вставить желаемую вероятность в эту модель. Количество пользователей будет определено этим уравнением:
где L – ваша предполагаемая вероятность столкнуться с ошибкой в интерфейсе, выраженная в виде десятичной дроби (т. е. 31% вводится как .31)
Например, если L составляет 20%, вам потребуется 9 пользователей, чтобы найти 85% проблем интерфейса. Если L равно 10%, вам понадобится 18 пользователей. Чем удобнее будет ваш интерфейс, тем больше пользователей нужно включить в тест, чтобы выявить 85% проблем юзабилити.
Однако ваша настоящая цель не в том, чтобы найти определенный процент проблем, а в том, чтобы максимизировать бизнес-ценность вашей программы исследования пользователей. Оказывается, пиковая рентабельность инвестиций довольно нечувствительна к изменениям параметров модели. Если вы впервые тестируете ужасный дизайн, ваши расходы будут низкими (выявить проблемы юзабилити будет очень легко), а прибыль будет высокой (продукт будет значительно улучшен). И наоборот, если вы исследуете трудную проблему, ваши расходы будут выше, а прибыль будет меньше. Тем не менее, точка, которая максимизирует соотношение между прибылью и расходами (т.е. ROI), по-прежнему будет составлять около 5 тестовых пользователей, даже, если рентабельность вашего исследования будет выше для легкого исследования и ниже для более сложного.
В общем, рекомендуется начать с 5 пользователей, исправить обнаруженные ошибки, а затем постепенно увеличивать количество пользователей в последующих итерациях, если вы считаете, что добились большого прогресса. Но на практике вы можете легко понять, сколько вы узнали с помощью 5 пользователей. Если вам кажется, что это не так уж и много, во что бы то ни стало, добавьте еще несколько пользователей. И наоборот, вы можете проводить тестирование менее, чем с 5 пользователями при других обстоятельствах. Например, когда вы можете очень быстро перейти к тестированию следующей итерации. Но если у вас много проблем, над которыми нужно поработать, сначала исправьте их, а затем двигайтесь дальше.
Вывод
Нет противоречия между рекомендацией проводить качественное пользовательское тестирование с пятью пользователями и идеей, что вы не можете доверять метрикам, полученным в результате небольших исследований, потому что вы не собираете метрики в качественном исследовании. Количественные и качественные исследования пользователей преследуют разные цели:
- Количественные исследования направлены на поиск метрик, которые предсказывают поведение всех пользователей; такие числа будут неточными и, следовательно, бесполезными, если они основаны на небольшом размере выборки.
- Качественные исследования нацелены на понимание: выявление проблем юзабилити интерфейса. Исследователи должны использовать суждения, а не цифры, чтобы расставить приоритеты по этим вопросам. (И, чтобы четко сформулировать суть: тестирование с пятью пользователями применимо только к качественным, а не количественным исследованиям].
Если ваш интерфейс уже прошел много раундов тестирования, вам может потребоваться добавить больше людей даже в качественный тест, так как вероятность столкнуться с проблемой может быть меньше, чем исходные предположения модели. Тем не менее рекомендуется начинать с 5 пользователей, а затем увеличивать их число, если важных выводов слишком мало.
Перевод статьи nngroup.com
Топ коментарі (0)