Конверсия в корзину падает вторую неделю. A/B-тесты не дали результата, тепловые карты показывают лишь «где», а не «почему». Команда предлагает решения на основе личного опыта. Знакомо? В статье расскажем о том, как продакту с помощью UX-тестов уйти от сбора «мнений» к поиску причин и формулировке проверяемых гипотез. In-house и external рисечеры делятся советами, как проводить UX-тесты самому и/или при помощи третьих лиц.
UX-тестирования — это разновидность пользовательских исследований. Их цель — анализ поведения пользователя, выявление зон роста в продукте, а также получение обратной связи по использованию продукта.
UX-тестирования помогают существенно снизить когнитивные искажения и субъективность продуктовой команды при разработке интерфейсов. При этом важно понимать, что UX — лишь одна из составляющих продукта.
UX-тестирования — это разновидность пользовательских исследований. Их цель — анализ поведения пользователя, выявление зон роста в продукте, а также получение обратной связи по использованию продукта.
UX-тестирования помогают существенно снизить когнитивные искажения и субъективность продуктовой команды при разработке интерфейсов. При этом важно понимать, что UX — лишь одна из составляющих продукта.
Чаще всего мы используем UX-тесты для новых продуктов, перед их выпуском на прод. Важно убедиться, что к этому моменту интерфейс уже максимально проработан и не вызовет сложностей у пользователей.— Илья Внуков, UXR Lead, Т2
После релиза есть ряд других способов и источников информации (например, обращения в поддержку), по которым можно оценить причину снижения продуктовых метрик. К тому же в этих случаях информация из первых рук пользователей будет валиднее мнения привлеченных респондентов.
Исследования такого рода для готовых продуктов — редкая история. Исключением будет редизайн — если в продукт добавилась новая фича или дополнительный шаг. В этом случае мы тестируем обновленную версию продукта
UX-тесты: что и когда лучше использовать?
Существуют следующие виды UX-тестирования, которые различаются не только методом исследования, но и типом бизнес-задач, которые они решают лучше:
- Модерируемые — предполагают возможность участия модератора (исследователя) в процессе тестирования продукта с пользователем. Чаще проходят в формате качественных интервью: 6−7 респондентов на сегмент.
- Немодерируемые — при которых респонденты самостоятельно проходят пользовательские сценарии. Чаще проходит в формате количественных опросов: работа ведется с 100+ респондентами при оценке одного сегмента/интерфейса.
Модерируемые UX-тестирования: какие дают инсайты?
Модерируемое UX-тестирование — это не просто способ «поймать баги» в интерфейсе. Это инструмент, который помогает узнать о способах мышления, паттернах поведения и опыте пользователей.
Знание драйверов и триггеров пользователей в процессе использования продукта позволяет выстроить наиболее эффективное взаимодействие с интерфейсом для достижения целей пользователя и бизнеса.
Также ценной информацией модерируемых тестирований являются ожидания информантов о том, как будет функционировать продукт на разных стадиях выполнения задания. Это позволяет выявить паттерны во взаимодействии с интерфейсом и использовать их как концептуальную модель при развитии продукта.
Знание драйверов и триггеров пользователей в процессе использования продукта позволяет выстроить наиболее эффективное взаимодействие с интерфейсом для достижения целей пользователя и бизнеса.
Также ценной информацией модерируемых тестирований являются ожидания информантов о том, как будет функционировать продукт на разных стадиях выполнения задания. Это позволяет выявить паттерны во взаимодействии с интерфейсом и использовать их как концептуальную модель при развитии продукта.
Немодерируемые UX-тестирования: проблемы и барьеры в цифрах
Данные модерируемых UX-тестов дают основу для формулирования гипотез, которые в дальнейшем можно проверить на репрезентативной выборке. В то время как немодерируемые дают статистику по распространенности и критичности проблем — что позволяет спрогнозировать их влияние на бизнес-показатели и сделать выводы об эффективности продукта. Но есть и другие опции для количественной проверки гипотез. Например, работа с данными метрик, тепловых карт (если речь идет о действующем продукте).
Не всегда при решении продуктовых задач четко понятно, какой из тестов выбрать, ниже приводим матрицу принятия решений:
Если вам нужны
→
Выбирайте метод
→
Примеры задач
Глубокие инсайты про потребителя (его мотивы, паттерны поведения, эмоции и т. д.)
Модерируемые
тесты
тесты
Протестировать новый продукт с нуля
Редизайн продукта
Собрать новые гипотезы по продукту
Редизайн продукта
Собрать новые гипотезы по продукту
Быстрый time-to-market
Статистика по распространенности проблемы
Репрезентативность данных
Немодерируемые тесты
Запуск нового продукта на прод
Запуск новой фичи
Приоритезировать баги
Улучшить пользовательские метрики в сравнении с конкурентами
Запуск новой фичи
Приоритезировать баги
Улучшить пользовательские метрики в сравнении с конкурентами
Если вам нужны
Глубокие инсайты про потребителя (его мотивы, паттерны поведения, эмоции и т. д.)
Выбирайте метод
Модерируемые
тесты
тесты
Примеры задач
Протестировать новый продукт с нуля
Редизайн продукта
Собрать новые гипотезы по продукту
Редизайн продукта
Собрать новые гипотезы по продукту
Если вам нужны
Быстрый time-to-market
Статистика по распространенности проблемы
Репрезентативность данных
Выбирайте метод
Немодерируемые тесты
Примеры задач
Запуск нового продукта на прод
Запуск новой фичи
Приоритезировать баги
Улучшить пользовательские метрики в сравнении с конкурентами
Запуск новой фичи
Приоритезировать баги
Улучшить пользовательские метрики в сравнении с конкурентами
Какой UX-тест выбрать: матрица принятия решений
В своей практике мы чаще используем немодерируемые тесты. Так как у нас не так часто происходит смена или появление новых сценариев, чаще мы исследуем локальные вещи (например, новые фичи, кнопку, макет). Мы проверяем для себя, насколько пользователи считывают это так же, как мы заложили; что у них не возникнет сложностей.— Илья Внуков, UXR Lead, Т2
Из двух видов немодерируемые тесты также лучше влияют на time-to-market: в качественных исследованиях много времени уходит на рекрут, особенно когда аудитория непростая. Дальше часы на проведение полевого этапа, анализ. В этом плане гораздо удобнее собрать тест, проанализировать его в рамках пары дней и отдать команде в работу.
Но у модерируемых тестов есть свои преимущества. Например, когда нужно протестировать абсолютно новый продукт, либо если по текущему никогда не было исследований, то нужны новые инсайты, гипотезы или глобальная оценка текущей ситуации. И тогда тесты помогают углубиться в продукт и в то, как пользователи с ним взаимодействуют. Хотя у нас в компании такие сценарии бывают сильно реже
Мы время от времени сталкиваемся с запросами на измерение UX-метрик по итогам качественных интервью — бизнесу зачастую нужны конкретные цифры. Однако не все UX-метрики корректно считать по результатам качественных интервью. Нередко использование исключительно данных модерируемых UX-интервью ведет к искажениям восприятия продукта командой и рискованным бизнес-решениям.— Варвара Коробкина, аналитик, Spektr
Важно понимать, что между данными качественных исследований и конкретной продуктовой/UX-метрикой лежит определенный аналитический путь. Он состоит из нескольких шагов, и поспешная «упаковка» качественных данных в метрики — это попытка «проскочить» часть этапов аналитики — что приводит к искаженному пониманию пользовательского поведения и эффективности продукта
Модерируемый UX-тест (качественное интервью)
Немодерируемый
UX-тест
UX-тест
Инсайты о поведении пользователя и взаимодействии с продуктом
Распространенность и критичность проблем → прогноз их влияния на метрики продукта
От UX-теста к метрикам: аналитический путь
Вывод: при выборе UX-теста важно понимать цель исследования. Если вам нужно подтверждать инсайты конкретными цифрами — стоит собирать статистику количественным исследованием. Если вам достаточно описательных инсайтов — модерируемые тестирования будут исчерпывающим вариантом. Если у вас есть альтернативные данные (метрики продукта, пользователей), то может выйти и так, что UX-тест вам не нужен. Кроме того, нужно иметь в виду масштаб и срочность решаемой бизнес-задачи, а также наличие необходимых ресурсов для проведения исследования.
Сложности в UX-тестах: как решать
Сроки
Бизнес-заказчики не всегда понимают тайминги исследований.
Что делать?
Внедрение результатов
Заказчик не понимает, как применить данные из отчета и/или изначально не ставит это следующей целью.
Что делать?
Включенность заказчика в процесс исследования
Хороший отчет рождается совместными усилиями заказчика и исследователя. Но как часто и куда нужно включаться заказчику — не всегда понятно.
Что делать?
Что должно быть на выходе UX-тестов
1
Список всех найденных проблем, отсортированных по критичности
Это дает команде заказчика возможность выбрать адекватный фокус. Если она видит, что есть суперкритическая проблема, но ресурсов на исправления сейчас нет, можно взять несколько менее критичных и направить внимание туда. Чаще всего это зависит от команды, от загруженности, технических возможностей. Но такой список оставляет место для маневра.
2
Рекомендации по устранению проблем
Всегда интересно узнать мнение специалиста, который погружался в продукт. Возможно, даже с нуля. Но, когда исследование ведется на стороне, чаще бывает, что такие рекомендации оторваны от реальности и абстрактны. Тут заказчику нужно понимать, что исследователь — не дизайнер и не продакт, и управлять своими ожиданиями на старте. А исследователю нужно проявлять проактивность: максимально погружаться в продукт, во внутренние процессы клиента, чтобы четче понимать его приоритеты и возможности. В этом случае рекомендации могут быть более реалистичны.
3
План дополнительных исследований (если есть необходимость)
Если исследователь видит, что некоторые данные нужно отдельно провалидировать, это нужно подсветить и отдельно обсудить с командой заказчика, желательно сразу обозначив временные горизонты. Таким образом, исследователь демонстрирует, что реально озабочен применимостью полученных данных, которые не уйдут в стол, а пойдут в дальнейшую разработку.
Подведем итог
UX-тесты не заменяют web-аналитику и не отменяют A/B-эксперименты. Они решают другую задачу: дают ответы на вопросы, на которые метрики и логи файлов не отвечают. Почему пользователь дошел до последнего шага и ушел? Что именно его остановило? Как он вообще думает, когда взаимодействует с интерфейсом?
Оба метода (и модерируемые, и немодерируемые тестирования) могут дать инсайты, но важно понимать, какого рода инсайты для вас важны — и выбирать методы, исходя из этого. Это первый вопрос, на который нужно ответить продакту до начала теста. Второй: что мы сделаем с результатами, когда получим их? Если ответа нет, тест не нужен. Третий: какой у нас time-to-market и вписывается ли в него выбранный метод? Рекрут, сбор поля, обработка данных — все это занимает время, и его не стоит игнорировать при планировании.
В статье нет универсального рецепта, потому что его не существует. Есть набор инструментов, понимание их ограничений и практический опыт исследователей. Этого достаточно, чтобы в следующий раз при падении конверсии не гадать на кофейной гуще и не закапываться в очередной A/B-тест без гипотезы, а осознанно выбрать исследовательский метод, который действительно даст ответ.
Оба метода (и модерируемые, и немодерируемые тестирования) могут дать инсайты, но важно понимать, какого рода инсайты для вас важны — и выбирать методы, исходя из этого. Это первый вопрос, на который нужно ответить продакту до начала теста. Второй: что мы сделаем с результатами, когда получим их? Если ответа нет, тест не нужен. Третий: какой у нас time-to-market и вписывается ли в него выбранный метод? Рекрут, сбор поля, обработка данных — все это занимает время, и его не стоит игнорировать при планировании.
В статье нет универсального рецепта, потому что его не существует. Есть набор инструментов, понимание их ограничений и практический опыт исследователей. Этого достаточно, чтобы в следующий раз при падении конверсии не гадать на кофейной гуще и не закапываться в очередной A/B-тест без гипотезы, а осознанно выбрать исследовательский метод, который действительно даст ответ.