measuring the user experience, chapter 3
TRANSCRIPT
Chapter 3 - Planning
IWASAKI, Yusuke
発表者について
こんにちは
要するに
ユーザビリティ調査の設計手法を説明する。(主にどんな指標を設定すればよいかの解説)
● 調査目的の設定● ユーザーゴールの設定● 測定指標の設定● 評価手法の設定
● その他の設定(予算/スケジュール、関係者、データ収集・抽出手法)↑これらを(体系的に)紹介するのが第3章の内容。
調査目的の設定
ユーザーゴールの設定
測定指標の設定
調査手法の設定
その他の設定
調査目的の設定
ユーザーゴールの設定
測定指標の設定
調査手法の設定
その他の設定
Formative / Summative
調査目的の設定
2種類に大別される● Formative(形成的ユーザビリティ調査)● Summative(総括的ユーザビリティ調査)
調査目的の設定 - 2 ways of approaches
Formative(形成的)
● 開発途中のプロダクトを定期的に評価し、最高のものに仕上げていく目的。
● いわゆる中間試験、期末試験みたいなもの。Formative Testに近い。
Summative(総括的)
● 完成したプロダクト(全体または一部)の目標達成度合いを評価する目的。
● いわゆる総まとめテスト、全国統一学力テストみたいなもの。Summative Testみたいな。
調査目的の設定 -目的設定例
Formative(形成的)
● ユーザーがよくやる誤りを知りたい
● 何がユーザーを満足させ、何がユーザーをいらだたせるのかを知りたい
● 開発工程でのデザイン修正は効果が有ったのかを知りたい
● リリース後も発生するであろう課題を知りたい
Summative(総括的)
● ユーザビリティ上の目的が達成されたのかを知りたい
● 全体的なユーザビリティを評価したい
● 競合と比較してどうなのかを知りたい
● 追加リリースの効果を知りたい
調査目的の設定
ユーザーゴールの設定
測定指標の設定
調査手法の設定
その他の設定
Formative / Summative
Performance / Satisfaction
ユーザーゴールの設定
計測する指標は2種類に大別される● 客観的に計測可能な指標(Performance)● 客観的に計測できない指標(Satisfaction)
ユーザーゴールの設定 -客観的/主観的指標
Performance -客観的指標
● プロダクトとのinteractionを通し、
実際に行ったことに関連する指標
● 使い道が明らか/選択の余地が無いプロダクトでは重要
● 完了できたか/時間/クリック数/エラー件数/…
※Ch.4で詳しく説明
Satisfaction -主観的指標
● そのユーザーが感じること、発言する事に関連する指標
● 大半のWebサービス、ソフトウ
ェア、消費者向けプロダクトに重要
● 使いやすさ/わかりやすさ/有効性/満足度/学びやすさ、・・・
※Ch.6で詳しく説明
ユーザーゴールの設定 -客観的/主観的指標
PerfomanceとSatisfactionに相関関係はあるか└相関関係があるなら、片方の指標だけ取れば良いとなる
→ありそうだけど断言は出来ないから両方の指標を見る
▼User Satisfaction vs. Performance Metrics
http://www.nngroup.com/articles/satisfaction-vs-performance-metrics/
調査目的の設定
ユーザーゴールの設定
測定指標の設定
調査手法の設定
その他の設定
Formative / Summative
Performance / Satisfaction
(10 sample scenarios)
測定指標の設定
具体的に測定指標を決める上で、10種類の典型的な調査シナリオ毎の例を紹介する(省略)。
処理手続きの完了 プロダクト比較
同一プロダクトの頻繁な使用の評価 ナビゲーション/IAの評価
認識度合いの向上 問題の発見
ユーザビリティの最大化 全体的にポジティブなUXの提供
細かい変更による影響度合い評価 代替デザインの比較
評価指標の設定
(Measuring the User Experience Second Edition, P46)
評価指標の設定
↑意識していないですが、過去に実施したテストで該当する項目は(自分の場合)おおよそこんな感じでした
←ABテストで実はよく利用していました
←新規プロダクトの開発で使用
←UI改善を目的とした評価で使用
←UI改善を目的とした評価で使用
←UI改善を目的としたユーザテストで使用
調査目的の設定
ユーザーゴールの設定
測定指標の設定
調査手法の設定
その他の設定
Formative / Summative
Performance / Satisfaction
(10 sample scenarios)
Moderated / Unmoderated / Online Surveys
調査手法の設定
大まかに3種類● ラボ型テスト● オンライン型テスト● オンライン型調査
調査目的の設定
ユーザーゴールの設定
測定指標の設定
調査手法の設定
その他の設定
Formative / Summative
Performance / Satisfaction
(10 sample scenarios)
Moderated / Unmoderated / Online Surveys
Budgets / Schedule / Recruiting / Data Processing
その他の設定
● 予算とスケジュールo 一般的なビジネスマナーで何とかなる
大規模になればなるほど綿密に オンライン調査は設計とデータクレンジング・分析に時間を割かれる
その他の設定
● 参加者o 形成的アプローチでは6~8人で良い
グループが複数存在する場合、各グループ4人程度
o 包括的アプローチでは50~100人程度 20人程度でも良いが、当然ながら精度は落ちる 細かいデザインの変更の場合は100人程度必要
←詳細はこれを読みましょう● “Observing the User Experience - A
Practitioner’s Guide to User Research
(Second Edition)”
o 前回の勉強会でやりました ソヨンさんによるレポート:
http://goo.gl/mMoyUz
Kindleで読めます
その他の設定
● データの収集o 少人数ラボテストはスプレッドシートやエクセルで十分 最近はOffice OnlineでExcelファイルもクラウドで編集可能 簡単に結果の記入が出来るようにカスタマイズすると便利
o 大人数を対象としたテストは自動化できるように データのexport/importの手段も備える
その他の設定
● データのクレンジングo rawデータをそのまま解析に持ち込む前にデータの洗浄や正当性の確認を行う。
o 基本的に行うのは以下。 フィルタリング、新しい変数の作成、回答内容の検証、一貫性の確認、データの移行
メトリクスが少なければ1hで終わる。
メトリクスが多く、かつオンライン調査の場合は確認の手間がかかるためより時間がかかる。2週間に及ぶ場合も。
利用するツールの動作が適切かも確認したほうが良い
調査目的の設定
ユーザーゴールの設定
測定指標の設定
調査手法の設定
その他の設定
Formative / Summative
Performance / Satisfaction
(10 sample scenarios)
Moderated / Unmoderated / Online Surveys
Budgets / Schedule / Recruiting / Data Processing
所感
● 基本的な要素なので本来は全て覚えるべきだと思われる。
● 社内に落とし込む場合、デザイナー、特にインタラクションデザイン担当に対して共有するのが第一。その後実務レベルまで落としこみノウハウを形成・・・の流れになりそう。
● ユーザ調査を行う上で10の典型例は参考として役に立つ。調査設計の段階で典型例を眺める→合致しそうなものをピックアップ→具体的に検討を行
う、というプロセスを踏む事で(自分の様な)経験の浅い人に対する指針として有効。o 新規プロダクト開発時に細かくラボテストを繰り返してUIの改修を図
るというプロセスを良く行うのですが、その時に利用している指標が大きく乖離していなくて個人的には安心しました
● Planningという側面だとスケジュール設定や調査手法の項目がこの章では大きく欠落しているので、他の資料による補足が必要。
おわり(ご静聴ありがとうございました)