Лаборатория онлайн: как провести исследование через Сеть

71 вебинар UX RussiaАндрей Сикорский

22 апреля 2010 года

Сначала была идея...

• ... и идея была проверить:– Новый дизайн– Новую

функциональность– «Хм, а работает ли мой

продукт?»– ...

• А что говорят «великие»?

Что говорит наука?• «Кто не наблюдал

поведения пользователей в лаборатории, тот не знает своего продукта» (С. Беркун)

• «Протестируйте и поправьте. Потом протестируйте еще раз» (Я. Нильсен)

• «Этап оценки – ключевой в разработке интерфейсов» (стандарт ISO 9241-210 и UsabilityLab)

Какое исследование будем проводить?• Лаборатория/удаленное

модерируемое– Малое количество людей– Желательность

помещения и оборудования

– Наблюдаем поведение– Собираем метрики– Детальный анализ

действий пользователя(ретроспектива, think aloud)

– Хороший контроль за респондентом

– ...

• Удаленное немодерируемое исследование– Большее количество людей– Количественные метрики– Не нужно помещение, но

нужен инструментарий

– Собираем количество, в меньшей мере поведение

– Ограничены в вопросах– Меньший порог вхождения– Естественные условия– Малый (или отсутствующий)

контроль за респондентом– ...

Кто победитель?

• Каждый метод хорош для своего, и они не заменяют, а дополняют друг друга

• Лучше провести любой тест, чем вообще не пропустить этап оценки

Удаленное немодериуремое исследование:что можно а что нельзя

Что можно провести удаленно?• Тест 5 секунд• Облегченная версия

классического теста– Найти информацию– Совершить какое-либо

действие

• Тест предпочтений– Семантический

дифференциал– Тест на прилагательные

• Прямая и обратная карточные сортировки

• Карта кликов

Инструментарий• Карточная сортировка– websort.net

• Удаленное тестирование– Loop11.com– UserFly.com– Usabilla.com

• 5-ти секундный тест– fivesecondtest.com

• Регистраторы кликов– ClickTale– Clixpy– ClickHeat– CrazyEgg– …

• Прочая аналитика– Google Analytics– Google Web Site Optimizer...

http://www.usefulusability.com/24-usability-testing-tools/

Ограничения удаленного исследования?• Первичное исследование

для выявления крупных проблем

• Степень понимания и объяснения поведения пользователей

• Продолжительность сессии исследования (в онлайне – до 20 минут)

• Соображения секретности/приватности

• Для онлайн-исследования нужен интернет

Особенности и возможности онлайн-исследований

Что можно получить?• Ограничения естественной

среды– Разрешения– Производительность– Браузеры

• Окружение– Друзья, отвлечения и т.п.

• Непредвзятость?– Т.к. нет фасилитатора – никто не

смущает– Но остается вопрос отношения

к продукту

• Последовательность переходов и кликов– Куда шел, когда отошел от

намеченного пути

Сравнение вариантов продукта• Несколько версий

сайта (старая и новая, например) сравниваются по основным задачам– Используются 5-sec

тесты или полноценные инструменты для удаленного немодерируемого тестирования

• Может являться частью a/b теста

Сбор общих метрик

• Собрать метрики– Эффективность -

количество выполненных заданий

– Ресурсоемкость – время выполнения• но неточно!

– Удовлетворение- на уровне анкеты или опроса «в одну сторону»

• Не привязано ко времени (можно набрать сколь угодно большую выборку)

Сбор обратной связи/комментариев

• Дать после выполнения задания прокомментировать сложность

• Собрать комментарии с небольшим пост-опросом

• Принять решение

Особенности• Краткость сессии теста• Задания должны быть

сформулированы максимально четко, но при этом без подсказок

• Сложность выяснения дополнительных данных– Все должно быть тщательно

спланировано и предусмотрено!

• Это автоматический эксперимент, а значит он должен – быть абсолютно повторяем– проводиться на идентичином

наборе данных

Комбинация с другими методами

• Тест в лаборатории после онлайн-исследования– Определить, какие задачи требуют больше времени или

имеют низкую оценку– Провести лабораторный тест по ним

• Тест в лаборатории до онлайн-исследования– Получить количественные подтверждения

• Эксперная оценка после проведения онлайн-исследования– Более подробно разобрать причины обнаруженных

трудностей

• Проведение фокус-групп до онлайн-исследования– Получение материала для исследования (разных дизайнов)

• Веб-аналитика

6 принципов проведения онлайн-исследования

• На выполнение всех заданий должно уходить не больше 20 минут

• Респонденты не должны участвовать в исследовании только из-за оплаты– Сделайте награду небольшой– Удостоверьтесь, что тест был

выполнен осмысленно – по времени, по действиям

• Всегда проводите пилотную сессию!– Сценарий должен быть

детальным и конкретным

• Измеряйте поведение, а не мнения– Не стоит проводить пост-опросники,

направленные на сбор мнений– Используйте шкалы, семантический

дифференциал, стандартные Ю-метрики

• Исключайте влияние– Давайте задачи в случайном

порядке, чтобы исключить эффект ознакомления

– Задавайте вопросы максимально просто и отстраненно

• Не используйте онлайн-исследования как замену прямым наблюдениям

Полезные материалы

• 40 вебинар - Инструменты аналитики и мониторинга поведения пользователей в Интернет– http://groups.google.com/group/uxrussia/web/40-unmoderated-

capturing-tools

• 42 вебинар – Google Website Optimizer– http://userexperience.ru/webinars/42-google-website-optimizer

• 45 вебинар – карточная сортировка– http://userexperience.ru/webinars/45-cardsorting/

• Книжка Beyond the usability lab (Bill Albert, Tom Tullis, Donna Tedesco)

• http://www.usefulusability.com/24-usability-testing-tools/

Спасибо за внимание