Мастер класс по ux исследованиям в играх

ПОЛЬЗОВАТЕЛЬСКИЕ ИССЛЕДОВАНИЯ В ИГРАХ

НАТАЛИЯ СПРОГИС, MAIL.RU

Плейтесты, фокус-тесты, фокус-группы… Нужны ли они только крупным компаниям? Стоит ли тратить на них ресурсы?

Я РАССКАЖУ…Зачем разработчикам игр UX исследования?

На какие вопросы они помогут ответить?

В какой момент их стоит применять?

Как организовать исследование?

UX-ЛАБОРАТОРИЯ MAIL.RU

ЗАЧЕМ?

НО ВЕДЬ У НАС ЕСТЬ ЭКСПЕРТЫ!

Эксперты нужны и дают замечательные идеи. Только эти идеи нужно проверять на реальных людях.

У НАС ОТЛИЧНЫЙ QA. КАКИЕ ИССЛЕДОВАНИЯ?

Тестировщики в первую очередь ищут баги. Они проверяют, работает ли игра так, как ее задумали разработчики. Но вот хороша ли эта задумка?

ЗАЧЕМ, КОГДА ЕСТЬ ЗБТ И ОБТ?

ЗБТ и ОБТ дают вам багрепорты и фидбек от самых активных. Но вы не видите, почему от вас ушел обычный игрок.

ПОНЯТЬ ПОЧЕМУ

Игроки уходят после часа игры?

У нового квеста очень низкий процент прохождений?

Казуалам наша игра не нравится?

ПРОБЛЕМЫ И ИНСАЙТЫ

Понимают ли игроки, как надо играть?

Сработали ли ваши задумки?

Что им нравится больше всего?

Как они осваивают игру?

Какие стратегии выбирают?

ЗНАНИЕ АУДИТОРИИ

Где, в каких ситуациях играют в вашу игру?

Какие социальные модели рождаются?

Как лучше строить маркетинговые кампании?

КОГДА?

1. КОНЦЕПТИРОВАНИЕ И ПРОТОТИПИРОВАНИЕ

• На какой возраст игроков нам лучше ориентироваться?

• Что игрокам нравится в конкурентах? А каких ошибок не нужно повторять?

• Есть ли у нас шансы зацепить казуальных игроков?

• Какие фичи стоит разработать в первую очередь, а что может подождать?

ВОЗМОЖНЫЕ ВОПРОСЫ

КЕЙС 1: СЕГМЕНТАЦИЯ

Разработчику нужно сегментировать аудиторию популярного игрового жанра, чтобы понять, на кого ориентироваться при разработке игры, какие у сегментов ожидания и потребности от жанра

ЗАДАЧА

6 фокус-групп с игроками разного возраста и предпочтений. Быстрый способ понять общую ситуацию по жанру, сформировать гипотезы о сегментации, определить отношение к конкурентам, общие предпочтения по механикам, отношение к монетизации.

ФОКУС-ГРУППЫ


ЭТНОГРАФИЯИнтервью у игроков дома, в «естественной среде».

Цели:

• выявить контекст и окружающую атмосферу при взаимодействии с игрой

• исследовать игровое поведение на основании полученных на первом этапе гипотез


РАЗНОЕ ПОВЕДЕНИЕ В ИГРЕ

Хардкорные симуляторщики Играющие в живой компании Любители аркадного сюжета


КЕЙС 2: ПРИОРЕТИЗАЦИЯ ФИЧ

Разработчик хочет сделать мобильную версию игры популярного десктопного жанра. Как понять, от чего можно отказаться, а от чего нет в условиях ограничений устройства.

ЗАДАЧА

Фокус-группы с игроками разного возраста и географии. Сегментация игроков и предпочитаемых ими фич.


ОНЛАЙН ФОКУС-ГРУППЫ

Поиск сильных и слабых сторон конкурентов


ТЕСТИРОВАНИЕ КОНКУРЕНТОВ

2. ВЕРТИКАЛЬНЫЙ СРЕЗ

• Понимают ли игроки, как играть?

• Есть ли критичные проблемы геймплея?

• В каких местах критично сделать обучение, а где сами могут разобраться?


Первый тест основного геймплея мобильной ККИ, чтобы выявить основные проблемы и сложности геймплея.

КЕЙС 3: ТЕСТ CORE GAMEPLAY

ЗАДАЧА

Нашли много проблем, в первую очередь связанных с механизмами прокачки карт. Поняли, в каких местах критично обучение.


КЛАССИЧЕСКИЙ UX ТЕСТ

Проверили понимание геймплея и восприятие игры разными группами игроков.


ПОНИМАНИЕ И ВПЕЧАТЛЕНИЯ

3. ПРОИЗВОДСТВО КОНТЕНТА

• Находят ли игроки самостоятельно оптимальную стратегию прохождения инстанса?

• Понятны ли игрокам способности монстров?

• Уровень с ледяными фигурами не слишком сложный?

• Хорошо ли видео объясняет предысторию игры?


Проверить, понимают ли игроки эффекты и абилки различных мобов и какую стратегию боя они используют против них.

КЕЙС 4: ТЕСТ АРМИЙ МОБОВ

ЗАДАЧА


СТАТИСТИКА

На специальной арене игроки дерутся с несколькими паками мобов. После просматривают свою игру и рассказывают, как поняли действия мобов в каждом паке и почему выбирали ту или иную стратегию.


ПЛЕЙТЕСТ С РЕТРОСПЕКТИВОЙ

Как понять, хорошо ли сделан инстанс (приключение в определенной локации) в ММОРПГ игре?

КЕЙС 5: ТЕСТ ИГРОВОГО ИНСТАНСА

ЗАДАЧА

ПЛЕЙТЕСТ С ПСИХОФИЗИОЛОГИЕЙ

Нам недостаточно было найти UX-проблемы геймплея. Помимо опроса респондентов, мы с помощью психофизиологических показателей пытались понять, сохраняется ли вовлеченность.


РЕАКЦИИ НА РАЗНЫЕ ЭТАПЫ

-0,3

-0,1

0,1

0,3

0,5

0,7

0,9

02:34 03:34 04:34 05:34 06:34 07:34

Первый этаж, респондент 2

Пак1 Пак2 Пак3 Пак4 Пак5 пак 6


4. ЗБТ И ОБТ

• Возникают ли проблемы во время первого часа игры?

• Эффективно ли обучение?

• Какие части игры самые интересные?

• Не становится ли игрокам скучно?


Первый час игры — критичен для нового игрока. Как уменьшить процент ухода игроков на этом этапе?

КЕЙС 6: СНИЗИТЬ ПОРОГ ВХОДА

ЗАДАЧА


На первых уровнях игнорируют важные элементы игры.

Фиксируем, в какой момент начинают разбираться


игнорируют подсказки

не видят, о чем

подсказка

5. ПОСЛЕ РЕЛИЗА

• Почему игроки отваливаются после пятого уровня?

• Понимают ли игроки, как покупать в игровом магазине?

• Эффективен ли новый интерфейс крафтов?


Сравнить нашу игру с конкурентами, чтобы выявить сильные и слабые стороны и понять, куда двигаться дальше.

КЕЙС 7: СРАВНЕНИЕ С КОНКУРЕНТАМИ

ЗАДАЧА

VS

ЮЗАБИЛИТИ-ТЕСТ• 20 минут игры в каждом из

покеров

• Сбор впечатлений

• Сравнение по различным характеристикам

8%

15%

10%

6%

38%

38%

10%

22%

23%

23%

30%

50%

31%

8%

40%

22%

15%

10%

0% 20% 40% 60% 80% 100%

Poker Arena

Zynga

Boyaa

Pokerist

Какой покер вам больше

понравился?

Ерунда полная Не очень Средне Очень неплохо Отличная игра


СРАВНЕНИЕ • Выявили достоинства и недостатки

каждой игры

• Сравнили эффективность различных интерфейсных решений


Протестировать новую возможность смены класса в игре. Выявить проблемы нового интерфейса.

КЕЙС 8: СМЕНА КЛАССА В ММОРПГ

ЗАДАЧА

Классический UX тест. Нашли проблемы интерфейса. Например, отсутствие предупреждений, сложный выбор новых шмоток и т.д.

КЕЙС 8: СМЕНА КЛАССА В ММОРПГ

ЮЗАБИЛИТИ-ТЕСТИРОВАНИЕ

Протестировать процесс первого входа в игру: от лендинга до загрузки клиента. Найти проблемы сайта игры.

КЕЙС 9: СОПУТСТВУЮЩИЕ МЕДИА

ЗАДАЧА

Мы проверили, находят ли игроки установку клиента, что они хотят видеть на сайте, есть ли проблемы с регистрацией.

КЕЙС 9: СОПУТСТВУЮЩИЕ МЕДИА

ЮЗАБИЛИТИ-ТЕСТИРОВАНИЕ

КАК?

ВНЕШНЕЕ АГЕНТСТВО

нужна квалификация

СОБСТВЕННАЯЛАБОРАТОРИЯ

СВОИМИ СИЛАМИ

ВАШИ ОПЦИИ дорого

недостаточное погружение

ПРОЦЕСС ИССЛЕДОВАНИЯ

ПЛАНМЕТОД УЧАСТНИКИ ПРОВЕДЕНИЕ АНАЛИЗЦЕЛИ

3.0 ЦЕЛИ

TO TEST OR NOT TO TEST?• Всегда четко формулируйте цели

исследования

• Иногда эти вопросы можно решить другими методами

3.1 МЕТОДЫ

МЕТОД ИССЛЕДОВАНИЯ• Подходит ли метод для данной задачи?

• Нужно ли здесь вообще исследование или достаточно статистики?

ПОЛЕ МЕТОДОВ• По размеру выборки

• По типу информации: «что говорят» vs «что делают»

©C. Rohrer, When to Use Which User-Experience Research Methods

ЭТНОГРАФИЯЧто это: Игроки у себя дома показывают вам, как они играют и отвечают на ваши вопросы

Зачем: Глубоко изучить аудиторию, понять контекст и особенности игрового поведения, найти инсайты

ФОКУС-ГРУППЫЧто это: 6-8 человек обсуждают предлагаемые модератором вопросы

Зачем: быстро собрать мнения, понять контекст, мнения о конкурентах и жанре.

ПЛЕЙТЕСТЧто это: Вы наблюдаете за тем как человек/люди играют в вашу игру, а потом даете им опросники или разговариваете с ними

Зачем: Найти проблемы, проверить гипотезы, собрать впечатления.

АЙТРЕКИНГ!Не отдельный метод, а технология в рамках плейтеста!

Что это: Фиксация движения взгляда респондентов во время игры.

Зачем: Найти проблемы заметности и фокуса внимания респондентов. Повысить наглядность результатов исследования.

ПСИХО-ФИЗИОЛОГИЯ!Не отдельный метод, а технология в рамках плейтеста!

Что это: Фиксация энцефалограммы, КГР, ЭКГ и прочей биометрии

Зачем: Эмоциональный фон и ментальная нагрузка во время игры

ДНЕВНИКОВЫЕ ИССЛЕДОВАНИЯ

Что это: Игроки играют у себя дома в течение недели-двух, регулярно заполняя опросники

Зачем: Проверить то, что невозможно за час-два в лаборатории. Понять, как меняется интерес к игре через день/два/неделю и что на это влияет. Понять, как игроки осваивают игру, какие стратегии выбирают.

3.2 РЕСПОНДЕНТЫ

КОГО ЗВАТЬ?

ЦА вашего теста:

• Играют в вашу игру или новички?

• В какие игры еще играют? Как много?

• На каких устройствах играют?

• Пол? Возраст?

CASUAL, MIDCORE, HARDCORE

Не всегда просто определить:

• Как часто играет?

• Как долго?

• В какие еще игры?

• Стиль игры?

• Лексика?

И т.д.

ГДЕ ИХ ИСКАТЬ?

РОДСТВЕННИКИ И КОЛЛЕГИ

Плюсы: Готовы помочь бесплатно

Минусы: Чаще всего не ЦА, им сложно быть объективными

АГЕНТСТВА И ПАНЕЛИ

Плюсы: нет головной боли с поиском

Минусы: дорого, встречаются «профессиональные ходоки»

ФОРУМ И ИГРОВЫЕ ПАБЛИКИ

Плюсы: Лояльная аудитория, готовая помочь

Минусы: Только хардкорная аудитория, завышенные требования к игре. Воспринимают тест, как возможность еще раз попросить то, о чем и так просят на форуме.

ДРУГИЕ ВАРИАНТЫ

• Околоигровые паблики и ресурсы

• Компьютерные клубы

• Аудитория других игр

• YouDo, WorkZilla

Any other options?

3.3 ОРГАНИЗАЦИЯ

ГДЕ?

Место Достоинства НедостаткиВаш офис • Легко организовать

• Удобно разработчикам

• Легче вовлечь коллег

• Игрокам сложнее высказывать критику

Фокус-комната • Нейтральная территория

• Все оборудовано для тестов

• Дорого

Дома у игрока • Комфортно игроку

• Реальный контекст игры

• Долго ко всем ездить

• Не всегда возможно показать тестовую версию игры

Компьютерный клуб или кафе

• Возможность рекрутинга «на лету»

• Только для коротких тестов

• Много отвлечений

ОДИНОЧНОЕ ИЛИ КОЛЛЕКТИВНОЕ?

С кем будет играть респондент? Боты, игроки онлайн, ваши коллеги или другие тестеры?

При групповом тесте модерируйте разговоры игроков в процессе, чтобы мнение одного не повлияло на соседа.

vs

ЕСТЕСТВЕННЫЙ КОНТЕКСТ

Постарайтесь создать похожие на жизненные условия для игры.

Если это мобильная игра, подумайте о том, как будут держать устройство, будут ли отвлечения и стабильный wi-fi.

МИНИМАЛЬНОЕ ОБОРУДОВАНИЕ ДЛЯ ТЕСТА

• Отдельная комната или переговорка

• Устройство с игрой (для мобильных лучше устанавливать на девайсы респондентов)

• Веб-камера для записи респондента

• Софт для записи видео с экрана/вторая камера

• (Если возможно) трансляция коллегам

3.4 ПРОВЕДЕНИЕ

СЦЕНАРИЙУ вас должен быть план! Список вопросов, набор заданий, список тестируемых уровней или модулей.

Продумайте, можно ли где-то «проскочить» долгую прокачку и показать что-то дальше.

НАЧАЛЬНОЕ ОБУЧЕНИЕ

Аккуратно давайте вводную об игре. Если в игре есть обучение, лучше ничего не рассказывать и не отвечать на вопросы.

Если ответить на вопрос «А как здесь работает таргет?», есть риск что вы не проверите эффективность обучения.

ФОРМУЛИРОВКА ЗАДАНИЙ

Избегайте случайных подсказок и ложных вводных, когда даете задания.

Если на старте квеста сказать «Ваша цель – убить Зевса», есть риск, что игрок сразу начнет его искать и не будет играть во все остальное.

ПРЕДВЗЯТОСТЬ

Оставайтесь максимально нейтральными, не задавайте наводящих вопросов.

Неверный вопрос или подсказка может очень сильно повлиять на результаты исследования.

СОЦИАЛЬНАЯ ЖЕЛАТЕЛЬНОСТЬ

Игроки будут стараться не расстраивать вас, поэтому многим будет сложно критиковать игру. Объясните им, что вам важны и негативные отзывы, что они помогут сделать игру лучше.

ПОДСКАЗКИ

Любое ваше утверждение об игре или ответ на вопрос респондента дает ему информацию, которую он сам бы не получил.

Старайтесь не отвечать на вопросы до конца теста, а еще лучше оставьте респондента одного и наблюдайте из другой комнаты.

ОТКРЫТЫЕ ВОПРОСЫ

Не задавайте закрытых вопросов «Вам понравилось играть?», «Управление удобное?» и т.д. С вами будут соглашаться.

Вместо них используйте открытые вопросы «Что вам понравилось, а что нет?», «С какими сложностями вы столкнулись?» и т.д.

ВОПРОСЫ ПРО БУДУЩЕЕ

Никто не способен адекватно ответить на вопрос «Будет ли круто, если мы сделаем вот это?» или «Что сделать, чтобы стало лучше?»

Игроки могут ответить только про прошлый опыт. Поэтому лучше спросите, что игроку нравится в играх, где подобная фичареализована, пользуется ли он этим и т.д

3.5 АНАЛИЗ РЕЗУЛЬТАТОВ

СМОТРИТЕ ЗА ПОВЕДЕНИЕМ

В первую очередь анализируйте поведение игроков во время теста.

Ведь на отзывы игроков об игре, их пожелания и оценки влияет социальная желательность.

РЕАКЦИЯ НА ПОЖЕЛАНИЯ

Игроки не дизайнеры!

Если они просят «добавьте вот это», главное понять, почему. А решение может быть совсем другим.

СТАТИСТИКА

Ищите инсайты, а не делайте статистические выводы, если у вас маленькая выборка

Даже единичное поведение может быть ценным, но не вводите никого в заблуждение.

ОНИ ВСЕ ИДИОТЫ!

Исследование — это часто стресс для дизайнера. Не спорьте с игроками, даже если они зря ругают вашу игру. Узнайте причины их недовольства и сделайте выводы.

Если вы не уверены, что найденная проблема может проявиться снова, проведите еще несколько тестов.

3.6 КАК ИЗМЕРИТЬ ФАН?

А БЫЛ ЛИ ФАН?

По наблюдению за игроками и даже их словам в итоговом интервью сложно оценить, насколько захватывает игра. Тут помогут опросники.

MICROSOFT DESIRABILITY TOOLKIT

Опросник, состоящий из положительных и отрицательных прилагательных. Быстрая оценка ассоциаций и характеристик игры.

Полное описание

https://www.google.ru/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0ahUKEwjVgaPYw63RAhUF_iwKHYCBBJkQFggaMAA&url=http://www.microsoft.com/usability/uepostings/desirabilitytoolkit.doc&usg=AFQjCNExmncHjNvBjaNkgzJMf5xMBEUH-g&sig2=ftWyrXIQ7AW7jcPajtnMww&bvm=bv.142059868,d.bGg

GAME EXPERIENCE QUESTIONNAIRE

Универсальный игровой опросник, созданный Jeanne H. Brockmyer из University of Toledo помогает оценить игру по базовым параметрам (игровой мир, погружение в игру, напряжение, мотивация к действиям и т.д.).

Полное описание

https://pure.tue.nl/ws/files/21666907/Game_Experience_Questionnaire_English.pdf


С опросником вы можете сравнивать между собой разные игры, разные части игры или фазы теста.


Или сравнить разные группы игроков.

ПСИХОФИЗИОЛОГИЯ

Анализ психофизиологических показателей позволяет увидеть эмоциональные реакции во время теста. Но методологии еще «сырые» и требуют проработки.

3.7 А ВДРУГ НЕ СРАБОТАЕТ?

ЭТО НЕ ТАБЛЕТКА Само по себе проведение исследования не дает гарантии, что вы получите хороший продукт. Так как же сделать, чтобы они были полезны?

ВСЕ ПРОСТО! ПОЗОВЕМ ПРОФЕССИОНАЛОВ

И ДРУГИЕ …

МНОГОСТРАНИЧНЫЙ ОТЧЕТ• Почему мы должны этому верить?

• Эти рекомендации не работают!

• Что с этим вообще делать?

ИССЛЕДОВАНИЯ — ЭТО КОМАНДНАЯ ИГРА

ОДИН В ПОЛЕ НЕ ВОИНЕсли вам не верят, то даже ссылка на хороший отчет об исследовании вам не поможет

НАБЛЮДЕНИЕ И УЧАСТИЕВ идеале вся команда должна посмотреть хотя бы на пару сессий исследования

ОБСУЖДЕНИЕ И ИДЕИВажно сразу же обсуждать новые идеи, при необходимости меняя дальнейшие сессии исследования

1. ВЕРА КОМАНДЫ

2. ПОДДЕРЖКА РУКОВОДСТВАЛица, принимающие решения, должны участвовать или хотя бы наблюдать за процессом

3. УСКОРЕНИЕ ПРИНЯТИЯ РЕШЕНИЙУменьшается «time to knowledge». Проще и быстрее принимаются решения

4. ИДЕИ И ИНСАЙТЫ

Часто при наблюдении за исследованиями появляется новый взгляд на проблемы и рождаются идеи

СПАСИБО!Спрогис Наталия

[email protected]

mailto:[email protected]

Мастер класс по ux исследованиям в играх

Design