用户研究工具箱：User Research Toolbox

Alibaba.com张勇2010.03.24

About me

张勇 （ Zhang ， Yong ） 阿里巴巴国际站 用户研究 2005 年底加入阿里巴巴，历经网站客户管理、参

谋部 /BI （商业智能）、 UED 等部门 从事国际网站的市场和用户研究，特别是海外会员 尝试并实践完善多种用户研究工具和方法：如多种

形式的在线问卷、（远程）用户测试、用户访谈、用户原型、及数据可视化和数据挖掘等

兴趣： （参考 del.icio.us/jun9 标签云 )

网站产品项目开发流程中的用户研究活动（供参考）

项目前期用户研究

根据项目重要性决定是否需要真正的用户确认原型和进行测试a) 原型确认：由 PD 负责在 kickoff 前出项目的原型。原型可以是线框图、 PSD 或简单的 HTML DEMO ，

只要能描述清楚项目的主要功能点与完整的流程即可。必须获得 PD 的老大认可；。b) 用户原型确认：内部用户或外部用户的代表对原型进行确认。该原型与 a 中出具的原型是同一份，只是确

认的人员是真正的用户。该活动在 kickoff 前完成。（ a 与 b 同时完成后才可进入 kickoff 环节）c) 用户测试：项目测试完成后，可在线上环境或测试环境，由真正的用户进行测试。

测试、确认型的用户研究活动

探索、研究型的用户研究活动

内部确认 或（内部 + 用户）确认

内部测试 或（内部 + 用户）测试

from （某产品开发流程）

Planning Requirements Design Implementation Test & Measure Post Release

Lead user study User surveys Design guidelines Style guides Performance testing Data analysis

Stakeholder meeting(Brainstorming)

Interviews Paper prototyping Rapid prototyping Diagnostic evaluation Subjective assessment

Competitor analysis Contextual inquiry Heuristic evaluation Cognitive walkthrough User surveys

Data analysis Field study User observation

Parallel design A/B testing Remote evaluation

Secondary research Focus group Storyboarding

Persona Wizard of Oz

Evaluating existing system

Interface design patterns

Card sorting

Affinity diagramming

Scenarios of use(User diary)

Task analysis

产品开发过程中（理论上）推荐的具体用户研究方法

Concept FBRD Specs Checklist Review

（ from The Persona Lifecycle: Keeping People in Mind Throughout Product Design  ）

更多（高级）方法和工具：眼动仪

All pictures from Google image search

可是

如果你的大部分用户在海外

如果你的项目时间只有两周如果你找不到用户上门来测试 ……

也许可以考虑：远程用户研究（ Remote User Research ）

Instant Message/Phone Interview

Instant Message/Online Chat Room/Conference Call Focus Group

http://www.slideshare.net/boltpeters/remote-research-at-ixd10

如何选择使用远程用户研究工具（ Remote User Research Toolbox ）

在线简单任务测试

A/B 测试

不同形式的在线问卷

用户鼠标点击分布

基于电话， IM 的采访和在线小组讨论

远程用户测试

项目进度

常用方法介绍

方法 解决问题样本量

（至少）

主持者

实施时间（至少）

优点 缺点

可用性评估Heuristic evaluation

据既定标准对项目做出易用性评价

1 专家 项目后期发布前低成本、简单有效

个人、主观影响

用户访谈Online Interview /

Focus Group

概念和初步方案探索

6-12 专家2 天准备访谈提纲 + 1 天邀约 + 2 小时 / 访问

获得信息丰富，讨论较深入

邀约困难，电话、在线

稍好

远程用户测试Remote user testing

可在线测试的具体方案

6-12 专家3 天准备测试任务 + 1 天邀约 + 1 小时 / 测试

最有效发现易用性

问题

邀约困难，电话、在线

稍好

在线测试Online tests: (card

sorting, simple tasks)

比较完整的设计方案

50+ 共同1 周准备测试方案 + 1 周测试

数据具有统计意义

测试方案准备制作时间

较长

在线问卷Online survey

具体问题 100+ 无1 周准备测试方案 + 1 周测试

数据具有统计意义

问卷准备时间较长

点击分布HeatMap

评价发布的完整版本

200+ 无几小时部署 +

1 天采集数据直观、准

确单个页面

多版本测试A/B test

评价发布的不同版本

200++ 共同多版本发布准备+2 周监控数据

准确、科学

周期较长

[样本量和实施时间仅供参考 ]

Usability heuristic evaluation (Expert Review)

专家代表用户根据既定的可用性评估标准对项目做出易用性评价，建议在项目后期发布前进行。

评估专家类型 内部专家 外部专家自评

评价标准类型 国际标准 行业标准 内部标准

国际标准： ISO Ergonomics Technical Committee

IS O o rg a n isa tio n

S C 1E rg o no m ic

g u id ing p rinc ip les

S C 3A n th ro p om e try

a n d b io m e c ha n ics

W G 1F u n da m e n ta ls o f c o n tro ls

a n d s ig na llin g m e tho ds(re s tin g )

W G 2V isu a l D is p layR e q u ire m e n ts

C a l le b o rg

W G 3C o n tro l, w o rkp la cea n d e n viro nm en ta l

re q u ire m e n ts

W G 5 S o ftw a re e rgo n om ics a ndh u m a n c o m p u te r d ia lo gu es

J a n G u lliks en

W G 6H u m a n ce n tre d de s ig n p roce ss

fo r in te ra c tiv e s ys te m sT o m as B ern s , C a l le b o rg

W G 8E rg on o m ic de s igno f con tro l cen tres

S C 4E rg on o m ic s o f

h u m a n sys tem in te rac t ion

S C 5 E rgo n om ics o f t

h e p hys ic a l e nv iro nm e n t

T C 1 5 9 E rg on o m ics

WG5 (Software ergonomics and HC dialogues) Activities:ISO 9241 - Software ergonomics for office work with visual display terminalsISO 14073 - Multimedia user interface designISO 16071 - Guidance on accessibility of human-computer interfaces

WG6 (Human centred design process) Activities:ISO 13407 - Human centred design process of interactive systemsISO 16982 - Usability methods supporting human centred designISO 18529 - Human centred lifecycle process descriptions (Usability maturity model)

行业和内部标准

用户访谈：上山下乡

阿里巴巴国际网站的用户研究员和设计师通过实地访问用户和与用户面对面的沟通来加深对网站用户的认识。项目的目的不仅是用户研究，更重要的是帮助设计师更快地建立对网站实际用户的感性认识以指导日常设计，通过初期建立联系后可保持长期联系以便日后更深入的研究。

研究对象 中国供应商用户（服务期内客户等） 海外买家（广交会买家等）

活动目标

我们的客户是什么样的？ 买家 卖家 供应链

他们是怎样进行国际贸易的？ 他们是怎样使用网站的？

Member: Mr. ZhouCompany: Zhejiang Dale Garments Co., Ltd. 

Jane F. IvanovPresident, Eve Alexander Maternity/Nursing LingerieLocation: USA Industry: Apparel Member since 2005 

远程用户测试Moderated remote user testing

远程用户测试工具和测试方法 （实例）

被测试用户招募

被测试用户预约注册和筛选

按预约邀请参加在线测试

被测试用户接受测试

测试观察和录像

招募广告 *

Chat/Call*预约注册表格

在线注册表格*

TechSmith UserVUE

UserVUEMorae

Manager

第一步：被测试者招募

需根据流量控制招募广告弹出频率 : 如 1~5%

改进说明：以前使用的 Ethnio 招募广告服务已经开始收费【自制工具已开发完成】基本功能：实现同样功能的弹出招募广告。后台控制程序可实时控制开启、停止投放，可调整弹出频率。附加功能：利用 cookie读取会员基本信息（会员类型，注册日期，访问频率等）定向筛选投放招募广告。

需开发后台控制弹出频率、（定向筛

选条件）

第二步：被测试者预约注册和筛选

设置简单问卷收集非会员和附加筛选条件：如年龄、性别、时间、相关经验等等。并可导入用户数据进行 2次筛选。

可提供基于网页聊天的测试 /招募问题支持

基本功能：使用网上调研系统可定制招募报名表问卷【 LimeSurvey 开源问卷系统】附加功能：嵌入网页的以聊天方式的实时招募问题支持【使用免费第三方服务】

第三步：邀请参加在线测试

Limited by facilitator resources, tests conducted one by one

基本功能：使用网上调研系统可查看筛选招募报名信息，并可导入 Excel 分析

第四步：被测试用户设置已购买并使用 TechSmith公司的 UserVue软件 /服务

测试中被测用户屏幕购买并使用 TechSmith公司的 UserVue软件 /服务测试任务和问题通过电话或 Chat 方式

测试主持人屏幕

远程用户测试结果分析实例

远程用户测试和传统用户测试比较

优点： 测试真实的用户（包括第一次访问者） 可以在用户自己的电脑环境中测试不同国家的用户 能够接受到用户对网站主要流程的互动交流和反馈 可以录制屏幕视频和电话语音交流实况 可以进行附加用户背景采访，更可能进行长期跟踪随访 真正做到低成本测试，无需出差旅行和复杂设备，且做到对用户最小限

度的打扰

缺点： 在未使用摄像头的情况下无法观察用户面部表情和肢体语音 用户可能在测试过程中受到其他事务的干扰，可能受到网速的影响 需在客户端运行测试程序，可能有用户参与积极性不高

参考： http://www.boltpeters.com/articles/versus.htmlhttp://www.techsmith.com/uservue/whyremotetest.asp

远程测试的要求

测试前需要和项目相关方共同设计测试任务，测试任务对测试完成效果起到非常关键的作用。

邀请参加测试的用户要尽可能接近所代表的目标用户群体，尤其是要考虑到海外用户的多样性差异。

从设计测试方案到每次实际的测试都需要用户测试主持人和项目相关方全程紧密合作，及时反馈改进下一轮测试。

在线用户测试：Automated simple task tests

Task 2 of 4: Where would you go to sign up for email notifications of the latest products?Task 3 of 4: How to find out the supplier's contact information?Task 4 of 4: How to check out more information about a product you are interested in?

把需要测试的交互化解成简单的基本页面任务操作来测试或验证设计方案：（可用在线测试工具 Chalkmark 或使用国际站在线问卷系统和鼠标点击分布系统定制）

在线测试： Online card sorting解决信息架构（ IA ）问题

Understand a different point of view.

采用 OptimalWorkshop 的在线测试工具进行，通常用于解决类目划分和菜单设计等问题

Be sure, not sorry

调研数据： Structured Online Survey

通过在线弹出、邮件邀请等方法定向投放的问卷调查是获取大量用户信息反馈的最直接方法。

问卷调查不仅可以了解用户背景信息、还可以用来了解用户对网站产品功能的需求，态度和满意度等信息。

问卷问题的设计是关键，回收数据和分析也十分重要。

A nice exit survey example

网站用户反馈渠道

常见用户反馈渠道 Help频道（客服邮件、电话、 IM

等） News 、论坛和 blog 、 twitter 等 满意度及其他用户调研 用户研究（问卷、访谈，用户测试

等） 销售传递 其他

多种用户反馈类型 建议（需确定优先级） 投诉（需跟进） 提问（需回复） 表扬（可利用） 其他

针对整体 针对具体产品

http://image.baidu.com/i?ct=503316480&z=0&tn=baiduimagedetail&word=%D2%E2%BC%FB%CF%E4&in=25292&cl=2&cm=1&sc=0&lm=-1&pn=162&rn=1&di=2005880568&ln=2000

客户的声音

收集（海外）用户反馈方式的问题每年一次（海外）用户满意度在线调研时间短，范围

小，时效性差 在线问卷收集的用户反馈（每次数千条）人工分析处

理效率低，重要程度难以统计反馈处理、跟进不透明。用户参与积极性低无法满足网站运营和战略决策需要大量有价值的“客

户的声音” 大部分用户的建议不够具体，可操作性差……

……所以大部分网站采取了针对具体产品功能来收集用户反馈

Amazon长期在页面搜集多种用户反馈

针对广告的用户反馈

针对搜索体验的用户反馈

Google长期在搜索结果页面搜集用户反馈

Alibaba 也长期在类目页面搜集用户的意见

Taobao新搜索的用户反馈表

针对搜索体验的用户反馈入口

Alibaba Key User Flow Feedbacks

针对搜索体验的用

户反馈

针对产品描述的用

户反馈

除了这些有关具体产品或功能的结构化定量的用户反馈，还有更多定性的用户反馈如何收集处理？

意见箱 2.0

引入用户参与决定意见和建议的优先级主要服务提供商：•Salesforce.com•Uservoice.com•Getsatisfaction.com

http://getsatisfaction.com/tradekey

http://userfly.uservoice.com/pages/14442-general

1. 用户分享建议2. 用户互动决定改进建议优先级

3. 公司积极跟进、快速开发实施，并及时反馈建议处理状态

用户反馈社区

用户反馈系统方案 （实例）

主要功能和使用场景用户（包括非注册用户）可在全站反馈收集点提交对网站产品、服务等反馈信息，并对其他用户提交的建议进行评价、跟踪公司对用户反馈意见的处理状态（或参与回答其他用户的问题）

优点 整合常见用户反馈渠道 包括多种用户反馈类型 针对整体或各产品线 统一的反馈收集界面 长期具体的客户满意度指标 方便的反馈分类和管理

用户之间的互动： 用户自发对反馈分类，进行优先级投票和评价

分享、讨论启发新意见和建议 用户与公司的互动：

意见和建议处理透明化 跟踪公司对反馈的反馈，提升

用户满意度

（具体方案）用户反馈收集

1.反馈收集入口 全站统一的” Feedback” 或” Help

us improve”链接 具体样式待定

部署位置 页顶、页面边缘或页脚（待定） 通过统一的 JS脚本实现快速定制并部署产品、服务反馈采集点

交互方式 点击后采用页内浮出层中提交表单的方

法，避免打开新页面干扰用户原目标

2.反馈分类和评价 需选择反馈和建议类型如 idea/

question/problem/praise 如投诉或问题类型，可选择匿名提交、转客服跟进

选择或预置反馈针对的产品分类 同时保存其他隐藏信息字段

用户类型、使用状态等

（具体方案）建立用户反馈社区

3. 反馈分类– 提交前全文搜索匹配已提交的相关建议

– 提示用户对已有相近建议投票，排除 /减少重复提交

4. 查看评价其他用户建议– 支持 OpenID登陆

可采用如 rpxnow.com之类 API– 用户建议

• 用户可编辑、注释• 投票、积分• 查看反馈处理状态

– 用户投诉、问题• 可删除、编辑、匿名、回复• 可转客服跟进• 可跟踪反馈处理状态

（具体方案）后台管理和团队流程保障 系统管理需解决的问题

用户隐私保护：匿名和非公开反馈 恶意用户滥用反馈和投票功能：管理员审核、用户参与活跃度管理、 spam control, vote limits, scores 等 .

减少重复意见提交：发布时的实时搜索匹配和推荐投票 推荐预定义分类和相关产品类别

问题、投诉型用户反馈继续由客户服务团队接手 建议采取 Support Ticket 问题编号跟踪制度，由首次联系客服负责到底、考虑与 BOPS 、客服邮件系统的接口

结合目前客服邮件满意度投票链接统计

建议、改进型用户反馈由相关产品线指派的接待员负责跟进

相关产品反馈接待员负责跟踪、整理、回复处理用户提出的（高优先级）建议，并及时设置用户反馈的处理状态

用户研究团队定期提供整合报告 仍需结合核心用户流程环节（搜索、产品信息、发送询盘

等）体验满意度指标数据 协助跟进研究 TOP建议

用户反馈

客服团队处理：

简单回复（如需要）

问题、投诉型

用户互动回答问题

客服处理问题和投诉

用户可跟踪服务问题处理状

态

建议、改进型

用户投票决定建议优先级别

各产品线反馈接口跟进 TOP

建议

用户可跟踪建议处理状态

鼠标点击分布测试

某页面用户鼠标点击分布（前 x%页面高度有超过 y% 的点击）

用户鼠标点击分布采集和分析工具

目标： 直观地记录并展示用户在网站页面的鼠标点击位置分布，为页面设计和改进提供直接的支持。

可作为廉价的眼动仪替代品

背景： 在用户处于互动状态，其鼠标位置与眼球注视点

高度相关* （见右图 Google搜索结果页面数据）

* Summary of research on eye - mouse synch available from: Edmonds, A., White, R., Morris, D., Drucker, S. Instrumenting the Dynamic Web. Journal of Web Engineering (JWE), Vol. 6, No. 3 (2007), 243-260.

说明：• 采用页面模板或天窗内嵌入 JS 代码方式

部署点击数据采集，可实时选择数据采集比例：如 10% 的访问用户。

• 可根据 Alibaba 的 cookie 进行简单条件筛选只记录特定类型用户的点击：目前只支持是否会员，会员类型，搜索历史（产品、关键词）等。后期计划支持根据用户行为宽表的条件进行筛选。

动画片 SMT2: Simple mouse tracking

新功能易用性操作测试记录 SMT 动画

通过数据了解 B2B搜索行为模式

Long list

Short list

InquiriesPhone callsIMs, etc.

Searches &Filters

Specific Needs:Narrow Down

Ideas:Explore

Searches Categories &Filters

Entrepreneurs

Agent & Traders

从 AB-Test 到多变量测试 (MVT)

访问某个页面的100%用户

对照组 A ：（现版本 A ）

测试组 B ：（新版本 B ）

测试组 C ：（新版本 C ）

其他测试组…：（新版本 D… ）

跟踪记录用户使用各版本的行为和效果

（对比、分析）

根据数据结果决定采用版本

测试设置模块：设置各测试版本及投放比例控制测试开始、停止；* 可选功能：测试中投放比例动态调整、页面自动优化、

测试发布模块：根据测试需求在目标用户群中随机分组投放各测试版本和对照组版本（保证其他非测试因素的随机分布）；* 可选功能：根据测试点组合设置自动生成各测试版本

报表分析模块：准确跟踪各测试版本基本点击数据（ PV 、 UV

等）以及主要功能指标（流失率、成功率、单多步转化率等）* 可选功能：自定义指标的跟踪和测试效果统计计算

为什么要做 AB 测试

数字胜于直觉、事实胜于雄辩 物竞天择、适者生存 科学试验方法胜于经验和感觉 很多情况下尝试多个版本的成本并不高

基于同一套模板的不同文案、交互界面等 千里之行始于足下

无止境的讨论最优方案不如快速实践尝试创新 有利于打破组织架构壁垒，创造高效跨团队合作

更快的设计开发测试周期 减少盲目发布新版本的用户体验风险

The Hippos Vs. Jaguar Process

Set Success Measure(Management)

Collect Ideas(From Everyone)Esp. customers

Select(Approver)

Execute(Agile team)Cross-functional

Test & Evaluation(Iterate)

http://www.slideshare.net/jwaxman74/jared-waxmans-ab-testing-10-principles-to-organize-for-rapid-testing (Adapted from)

Traps:•Management not aligned•No resources – fully booked

Traps:•Ownership issues•Technically impossible

Traps:•Endless debate

Traps:•Perfection

Traps:•Opps…forget about it

Highest Paid Person’s Opinion (HiPPO)

Joint (JIT) Agile Users Aggregated Responses (JAgUAR)

AB-Testing系统

用户反馈收集系统

典型应用场景1. 根据设计师的要求，用户研究团队确定某页面

或项目的A/B测试方案（设计测试点和样本量）并在系统后台管理界面新建一个A/B测试，设置相关测试点，如3种字体、2种文案和有无帮助提示（系统自动生成或手工导入3x2x2个版本的模板代码）和各版本投放比例（如各占1/12）以及关键测试指标，如反馈转化率。

2. 用户研究团队从系统后台设置开始测试后，系统按照投放比例随机分配不同版本到用户，保证每个用户分配到各版本的概率均等、测试期间多次访问版本的一致性。

3. 用户研究团队和相关部门在测试进行中和完成后可到系统后台跟踪查看各版本在测试期间的基本点击数据（PV、UV等）以及主要功能指标（流失率、成功率、单步和多步转化率等），并根据分析关键指标表现来评估决定测试结果。如有必要可以随时调整投放比例或提前终止测试。

访问某个页面的 100%

用户

对照组 A ：（现版本 A ）

测试组 B ：（新版本 B ）

测试组 C ：（新版本 C ）

其他测试组…：（新版本

D… ）

跟踪记录用户使用各版本的行为和效果

（对比、分析）

根据数据结果决定采用版本

例：那个版本更好？

http://www.reedge.com/products-services/products/ab-testing?#contenttabbed

A: Low-to-high pricingB: High-to-low pricing

A won in this A/B test, with 16.8% increasing revenue.

不同层面 AB 测试解决方案

• JavaScript 实现判断并载入相应测试版本• 只需随机分配 AB 测试 cookie （小需求）• 不适合复杂测试，对页面性能有非常大影响

前端测试

• 底层代码概率判断并载入相应测试版本• 搜索模块实现多模板测试• 完整的页面设计测试：推荐方案

模板层测试

• 底层代码模块判断并载入相应测试版本• 搜索模块 Bucket Test• 潜在的远期需求：搜索排序、 p4p规则等

底层代码

简单页面设计元素

页面设计方案

交互设计方案、流程、算法

A/B测试系统的限制条件和风险对策

测试过程需要严格按照统计检验的方法 对样本量有一定的要求 必须有测试对照控制组

只有定量的指标效果，没有解释为什么 只能根据预定的指标判断哪个版本更好

可能无法区分短期效果和长期效果 一般要求测试持续 2 周

可能很大程度地增加了不同版本代码测试和开发的成本 开发多个版本通常大部分代码可复用 需测试多个版本

只能测试开发完成的版本 需保证各版本完整通过开发和测试

需要流程制度上保证消除代码同步的问题

结合第三方数据：user lifestyle

B: Upscale AmericaCollege-educated couples and families living in the metropolitan sprawl earning upscale incomes providing them with large homes and very comfortable and active lifestyles

人群收入：高低

Affluent Suburbia Metro Fringe Aspiring Contemporaries

Hitwise.com data

以用户原型为表现形式Personas are descriptions of a group of typical users.

• Personas ensure everyone is aiming at the same user

• As design options are created, each one can be very rapidly tested by asking “Would Mohamed need this?” “Would Alice understand how to use this?”

用户原型 （ Persona ）

•收集用户反馈意见和问题•收集系统化、处理制度化•用户决定优先级•对意见作反馈、鼓励

了解用户的实际问题

•用户研究和用户测试•尽早验证的设计•避免闭门造车的解决方案•用户为中心的界面 /交互

设计解决用户问题的有效方案 •敏捷开发

•跨部门、多功能的团队•自下而上的沟通•快速的开发周期

快速迭代的产品开发过程

•衡量产品效果的测试•快速反应的测试结果•多版本的并行测试•明确的效果衡量指标

效果衡量精准快

网站产品开发的策略和实施保障体系

用户反馈系统 AB 测试系统

Kaizen

Continuous Improvement

改善http://en.wikipedia.org/wiki/Kaizen

Kaizen (Japanese for "improvement" or "change for the better") refers to a philosophy or practices that focus upon continuous improvement of processes in manufacturing, engineering, supporting business processes, and management. It has been applied in healthcare, government, banking, and many other industries. When used in the business sense and applied to the workplace, kaizen refers to activities that continually improve all functions, and involves all employees from the CEO to the assembly line workers.