可用性测试规范手册

'用户体验可用性测试规范手册Bri体验科技www.brixd.com电话：010-53616906邮箱：service@brixd.com 前言Bri体验科技是一家以用户体验为核心的设计与技术服务公司，服务于世界500强客户，提供高品质的用户体验设计和咨询服务，以及移动互联网战略咨询、设计与开发的整合解决方案。 可用性测试介绍可用性测试（Usabilitytesting），是一项通过用户的使用来评估产品的技术，由于它反应了用户的真实使用经验，所以可以视为一种不可或1缺的可用性检验过程。 可用性测试的定义产品（服务）的销售疲软或是使用过程中出现问题却无法及时精确的找到问题关键时，可用性测试可以在很大程度上的提高解决问题的效率。通过可用性测试不但可以获知用户对产品（服务）的认可程度，还可以获知一些隐含的用户行为规律。可用性测试（Usabilitytesting），是一项通过用户的使用来评估产品的技术，由于它反应了用户的真实使用经验，所以可以视为一种不可或缺的可用性检验过程。也就是说，可用性测试是指让用户使用产品（服务）的设计原型或者成品，通过观察，记录和分析用户的行为和感受，以改善产品（服务）可用性的一系列方法。它适用于产品（服务）前期设计开发，中期改进和后期维护完善的各个阶段，是用户中心设计的思想的重要体现。第一次有记录的可用性测试出现在1981年，经过三十多长期的可用性测试实践证明5名参与者就能找到75%的可年的发展，可用性测试已经成为产品（服务）设计开发和用性问题，由上图可以看出，在第5名用户之后，发现的改进维护各个阶段必不可少的重要环节。它的价值在于初问题增长趋缓。增加用户的数目来探索更多的可用性问题期及早的发现产品（服务）中可能会存在的问题，在开发意义不大，因此通常选取5-7名用户来参与可用性测试。或投产之前提供改进方案，从而节约设计开发成本。而在3www.brixd.com 可用性测试设备介绍实验室的基本设备有视频、音频，包括高清摄像头、麦克风、后台的功放、调音台、视频混合器等。尤其注意的是音频系统需要支持同传翻译，两个声道分别支持测试现场原声和翻译声音。还可配备投影仪或高清电视机，播放一些视频资料。可用性测试中需要搜集各类数据以便后期分析，所以通常根据测试产品的需求，还可以配备以下设备：在实验室进行，并选择合适的工具来协助。1、计时工具实验室通常包含测试室和观察室。测试室供主持人和用户可以直接用秒表。更严谨的使用一些软件，在点击开始计使用，额外情况也会有观察记录员或者速记员在内。观察时，会发声进行倒计时，3、2、1，让用户和主持人对开室供观察记录员、产品开发人员以及其他相关人员使用，始时间有共识，随后操作结束时，按停止按钮结束。软件在不打搅用户的情况下观看测试过程。会按顺序自动记录每个任务操作时间。2、MoraeMorae是应用非常广泛的工具，安装在电脑上。它适用的对象是PC产品和网站。安装在测试端的软件可以捕捉用户操作轨迹，页面停留时间，并拍摄用户的面部表情。而安装在监测端的软件可以让观察记录员随时进行备注和打标签，最终输出的数据非常丰富。4www.brixd.com 3、Noldus运动轨迹采集系统5、眼动仪在天花板上安装的采集设备加上后台的数据采集系统，可眼动仪用于采集人们注视某个对象的时间长短以及眼睛移以锁定目标对象的移动轨迹、距离以及时间等。在键盘机动的轨迹。比如网页阅读测试，可以通过眼动仪采集眼睛时代经常会采集手指在手机键盘上移动的轨迹和距离来比在网页上移动的轨迹和停留注视的热点区域，以此结果判较各个产品之间的硬件工业设计的合理程度。断哪些为用户首先扫视的区域，哪些是用户重点观看的区域，而哪些是用户容易忽略的区域。4、MDC（MobileDeviceCamera,Noldus出品）这个设备是配备手机可用性测试适用，可以卡在手机上进行手机操作的拍摄，后台进行视频数据采集。以上是固定实验室的介绍，有时会有在其他场地进行可用性测试的需求，这时可以配备便携式可用性实验室。便携式可用性实验室一般配有摄像机，三脚架，麦克风，耳机，数据线，装有数据采集软件的笔记本电脑等方便携带安装的设备。5www.brixd.com 可用性测试流程为了尽量避免可用性测试中一些人为因素的变动而导致测试结果出现偏差，为此特定制定可用性测试流程规范，最大限度控制影响因素，以求达到最佳测试效果。可用性测试流程分为可用性测试前的计划部分和可用性测试2的实施部分。 测试前的计划流程3、定义参与测试的目标用户该阶段需要确定目标用户的特点，包括生理特点、社会特点以及设备使用经验等。还有各类用户的比例。遴选标准内举例：年龄18-35岁，大专以上学历，家庭收入10000元以上，和朋友聚会次数每周平均为3次及以上。每天上网时间超过5小时，使用手机为iPhone4S等等。1、计划测试项目4、招募用户该阶段需要确定项目的时间要求，典型的可用性测试，需要1至2周的前期沟通和准备，1周时间进行招募工作，该阶段根据目标用户的遴选标准进行招募，不招募近6个1个星期测试，2个星期进行数据分析和提交报告。根据月内参观过类似活动的用户，不招募媒体、竞争对手等从测试的内容及项目规模作调整。业用户；不招募“会虫”类无效用户。根据招募用户数量，需要多准备10%的预备人数。2、定义测试的目标和范围5、选择测试的任务该阶段需要和测试委托方进行沟通，确定测试的目标和对象。比如手机测试，测试目标为验证客户出品的手机输入该阶段工作在于熟悉产品，并和测试委托方一起选择测试法效率，测试对象为3款产品（具体型号），测试范围为的任务。需要同时考虑委托方的需求和用户实际使用的主输入法的中英文、符号、手写等各类输入方法。要场景和任务。7www.brixd.com 6、撰写测试任务脚本是指从任务开始操作计时，到任务结束停止这一段时间，测量单位精确到秒。通常以用户报告开始或者结束作为标该阶段将之前选择的测试任务编成脚本，应尽量使用用户准。该数据可衡量任务的难易程度。语言描绘一个熟悉的场景，再将任务融入进去。任务越详细越好。需要为用户单独准备任务卡片，供用户阅读使2）!任务操作成功率用。一个任务发放一个卡片，不能一次全部给用户。任务操作成功与否分为三种情况，一是顺利完成，二是帮任务脚本通常含有指导语、测试前问卷、正式测试任务、助下完成，三是失败。将前两种情况都定义为成功统计总测试后问卷四个部分。数，除以总人数，就是该任务的成功率。该数据可衡量任务的难易程度。3）!任务出错率7、确定可用性测量维度记录每个任务操作过程中的错误步骤，除以总的错误数根据本次测试的目的来确定测量维度。典型的可用性测目，就可以得出每个任务的出错率。试会采用以下一些测量纬度：任务操作的完成时间，任务操作成功率，任务出错率、帮助次数等定量指标，也包括需要注意的是定义好何为错误，应将任务的关键步骤中关任务操作前的用户期待、任务操作后的用户评价、用户满注的重点定义为错误，忽略用户的误操作。意度等定性指标。如果是特定的产品，比如手机任务的操4）!帮助次数作，还可以采用路径操作数、路径拟合度数据指标。是指用户从主持人寻求帮助，通常不能超过3次，超过3次以失败记录。下面列举几个常用的指标：1）任务操作的完成时间8www.brixd.com 5）!路径操作数8、准备测试材料测试手机的流程设计，可以使用这个指标。将用户操作任测试材料根据项目具体情况准备，包括脚本、各类问卷等务的路径数目记下来，统计之后可以得出流程设计是否合文档；还有测试需要用的测试设备，如手机；如果是产品理。概念，还需准备测试原型。操作路径的定义比较繁琐，一是可以将任务的最小一步操作为最小单位，比如点击，输入等；二是如果步骤过多，9、准备测试环境可以在委托方、主持人、项目经理达成共识情况下进行合并，以关键路径作为最小单元。测试可以在专业实验室进行，也可以在普通会议室，设置有可能在室外进行。专业实验室需要检查视频、音频、以6）!路径拟合度及专用测试系统（如Morae、Nodules）是否正常，以及同样应用在手机上，将设计师的流程设计定义为标准，把观察室的使用，观察室与测试室之间的沟通（有时会用对用户操作的路径数据记录之后，将之进行匹配。两者相除讲机，调节对讲机频率等）。如是普通会议室，需要确保可以得到路径拟合度，该数据可以得知设计师设计的路径周边安静，准备便捷式摄像机以及音频采集设备。室外的合理程度。也可以进行同类设计之间的比较，找到最合理设备可以参考便携式实验室设备。通常都应对测试场景进的设计方案。行拍照。注：更多测量数据可参考《用户体验度量》一书10、测试团队组建一个测试项目通常有5个角色，项目经理（与客户沟通，控制项目进度）、主持人（负责撰写脚本、测试、报告撰9www.brixd.com 写）、观察记录员（协助记录测试要点）、项目助手（招募用户、测试现场支持、协助数据分析）、设备管理员（调试和保证设备正常运转）。小规模测试项目，至少需要3名成员来承担项目工作。1名资深研究员作为项目经理、主持人和报告撰写人；1名记录观察记录员负责记录测试要点、1名助手负责招募、现场支持以及设备调试运转等工作。大规模测试项目，根据实际情况来确定项目参与人数。11、预测试进行预测试是为了模拟真实测试过程，为测试做最后一道准备。可以检查脚本、时间控制、测试材料、测试环境等各个方面。预测试要求邀请真实的用户参与，整个过程和真正的测试完全一致。在真实测试的前1或2天进行，发现问题后有时间整改。10www.brixd.com 可用性测试实施流程要最大程度的避免用户迟到，在确定用户人选后，就应电话通知测试的时间和地点，并发送短信供用户备存。如果距离测试时间较长，则需要测试前1天再次联络用户进行提醒。2、测试实施1、接待用户测试实施的要点有：准备好指引路牌，方便用户寻找测试地点。用户到达后，1）热场，这是用户和主持人熟悉的过程，以保证用户在引导用户在休息区等待，递上茶水，并告知用户多少时间测试过程中的放松和配合状态。尤其是要向用户说明测试后开始测试。的是设备，而不是用户本身。2）任务解释，任务解释是否到位，用户是否理解透彻，用户抵达后，项目助手还需要进行身份甄别，如有设备要是任务能否顺利完成的前提。求需请用户出示设备，并请用户填写保密协议，个人信息等资料。3）节奏的控制，不能让用户随意尝试产品，并控制好测试时间。4）问题的把握，记录用户遇到的问题，并在任务结束后除此之外，还需照顾用户的情绪。有的用户表现会比较紧进行访谈，了解问题发生的原因。张，接待人员应该解释测试的目的，告知测试的主要内容。11www.brixd.com 3、数据分析采集的数据有两种，定量和定性数据。定量数据需要用SPSS等统计软件进行分析处理；定性数据则需要逐条来整理，根据任务进行问题梳理，或者根据问题类型进行梳理，视写报告的需求来定。4、报告撰写报告需要包含项目背景介绍，方法论介绍，测试结果（需分问题严重程度），专家建议等几个方面。5、沟通测试结果测试结束后应与委托方面对面沟通，除了汇报测试结果，还有测试中发现用户需求与产品定位不一致或其他更好的改进方案，都可以与委托方做详细交流。12www.brixd.com 可用性测试项目管理通常可用性测试的项目周期较短，项目管理工作并不复杂，重要的在于和客户的沟通，项目进度中里程碑的把握，以及3项目质量的控制。 项目角色编号名称任务备注负责用户招募负责用户甄别负责用户接待可兼任设备管理4项目助理负责用户填写保密协议、个人信员息等相关资料负责给用户发放报酬负责场地的饮食一个可用性测试项目一般会有6个或更多的角色：场地设备管5确保场地、设备的正常运转理员编号名称任务备注其他：同传6预先了解测试信息，进行准备与测试委托方沟通翻译、速记1项目经理控制项目质量控制项目进度负责撰写脚本确定用户遴选标准由资深研究员担负责预测试2主持人任，也可以兼任负责测试实施项目经理负责报告撰写负责汇报快捷测试也可以负责记录测试中的问题要点3观察记录员省略，参考速记协助主持人检查是否有问题遗漏员的记录14www.brixd.com 项目管理流程2、项目进行中为确保项目顺利进行，可制定每个人员的Check-list，以确保执行过程无遗漏。1）项目经理Checklist用户到来之前：1、项目开始前确保每位成员都备有打印文档，包括用户信息、日程项目经理负责和测试委托方沟通，确定测试项目的时间、安排、测试脚本等。目的、对象等信息，随后组织测试团队，项目开始前召开确保每位成员都完成了他们的Checklist。项目管理启动会议。欢迎来参观的人员（客户、开发人员、设计人员等）本次会议需要确定：1）项目每个成员的角色和工作内容。测试过程中：2）沟通和传递测试项目信息。处理发生的任何问题。3）确定项目时间计划，包括招募时间安排、测试时间安注意和产品开发者的沟通。排、项目输出的里程碑、和委托方沟通的时间点等等。关注测试产品的问题，形成大致印象。15www.brixd.com 每场测试结束后：测试过程中：照顾来宾。按脚本执行测试。确保有人将测试环境还原，迎接下一位用户。关注用户问题的背后原因。确保每场结束后完成测试小结。注意和产品开发者的沟通。每天测试结束后：每场测试结束后：组织项目成员讨论一天的测试工作。和观察记录员完成测试小结。和产品开发者沟通。2）主持人Checklist用户到来之前：每天测试结束后：确认测试所需的各类材料都齐备，脚本、任务卡片和和项目成员讨论一天的测试工作。产品模型等。确认场地安排和设备已经正常运行。确认观察记录员、同传、速记等都已经到位。16www.brixd.com 3）观察记录员Checklist4）项目助理Checklist用户到来之前：用户到来之前：确认测试所需的各类材料都齐备，脚本、任务卡片和确认测试所需的各类材料都齐备，脚本、任务卡片和产品模型等。产品模型等。确认场地安排和设备已经正常运行。测试过程中：确认主持人、观察记录员、同传、速记等都已经到位，每人的测试材料配备齐全。记录问题，关注用户问题的背后原因。欢迎用户，确定用户身份。请用户填写用户协议、背景资料等文档。每场测试结束后：将用户按时间迎入测试室。和主持人完成测试小结。和产品开发者沟通。测试过程中：处理出现的突发问题。每天测试结束后：与下一个用户保持联系，确保用户按时抵达。和项目成员讨论一天的测试工作。17www.brixd.com 每场测试结束后：每场测试结束后：欢送用户，并发放报酬，签署收条。保存用户资料。复原测试环境。复原测试设备。5）场地和设备管理员用户到来之前：打开设备。确认视频正常。确认音频正常。根据用户对录像资料进行编号。测试过程中：保证设备正常运行。拍摄测试照片。18www.brixd.com 项目完成后项目经理组织召开项目结束会议，会议内容包括：1、传达委托方的反馈。2、总结本次工作的优缺点。3、搜集各类数据，进行存档。19www.brixd.com 可用性测试Tips4 可用性测试Tips热场都非常重要。项目助理接待用户的时候，应详细解释测试的相关信息，并耐心解答用户问题。主持人开始测试前，也应用轻松语调与用户闲聊，舒缓用户的情绪。一定要给用户强调是，本次项目测试的是产品本身的问题，而不是用户。1、遮住被测试产品的Logo这个不言而喻，产品Logo携带了大量信息，比如产品产地、价格、口碑等等。3、甄别用户用户非常容易受这些信息影响而给出不真实的反馈。比如这可能属于我国国情，有很多用户会为了测试报酬而谎报知名品牌的产品，用户就会给出高于真实水平的评价。假自己符合条件。除了在甄别阶段进行详细询问，用户到场如某些任务操作失败，他也会将失败原因归因于自己，而后仍需要进行这项工作。不是产品。比如有次测试需保证用户使用特定型号设备，有一位用户实验室的地点也是同样道理，所以我们不建议邀请用户去带来该设备却告知电已用完无法开机，这时项目助理拿出委托方实验室进行产品可用性测试。早已准备好的充电器请他充电，该用户不得不承认这是借来的设备。2、提高用户的自信像这种情况，项目助理和主持人都需要熟悉这个设备，遇用户到一个陌生的地方，还有可能使用陌生的产品，很容到用户后，闲聊就应询问用户平时的使用状况，比如“你易产生紧张情绪。用户到达测试场地，以及测试开始前的21www.brixd.com 平时最喜欢这个设备的什么功能？”，“你觉得这个设备拍主试示范一次后，请用户尝试一次。照效果如何？”。这些问题都可以有效的进行甄别。用户的操作任务是：保存13888888888到你的手机通讯录中。4、ThinkAloud的训练如果主试认为用户发声思维法效果不理想，请用户多次尝试，直到达到理想的效果才开始正式的发声思维测试.在可用性测试中，往往要求用户进行ThinkAloud，发声思维法。即在测试中，将心中所想口头表达出来。为了让用户更好的理解ThinkAloud，以及确保ThinkAloud的效果，需要在测试前对用户进行培训。下面是具体的培训用例：接下来我们开始使用我们的手机功能的设计方案，把你的操作时的思路和想法说出来，如果你认为你操作已经成功，这时你要我告诉你已经操作成功，接下来我来示范一下，操作任务是：给好友发一条短信。“我要先进入功能，找到信息操作入口，进入到信息页面，我要进入写信息，我想先输入短信息的内容，再输入好友的号码，我现在开始输入短信息的内容，我输好短信内容了，我要输入手机号码，我记不住的好友号码，还是通讯录里选择吧，现在在通讯录里面了，我选择好友***，按确定选择好友，最后我要找到‘发送’按钮，这个‘发送’应该在选项里吧，我进去看一下，我选择‘发送’。短信息发送操作完成。”22www.brixd.com 可用性测试文档5 文档列表一览编号阶段相关文档负责人参与者008用户背景资料表格009用户协议NDA010测试过程检查文档8准备测试材料项目助理项目经理Checklist011测试小结012礼金签收表编号阶段相关文档负责人参与者010测试过程检查文档场地/设9准备测试环境项目经理Checklist备管理员1计划测试项目001项目需求确认文档项目经理主持人10测试团队组建项目经理定义测试的目2001项目需求确认文档项目经理主持人标和范围004测试脚本005过程记录文档定于参与测试3002用户遴选标准文档项目经理主持人006任务卡片的目标用户007主持人记录表格11预测试008用户背景资料表格主持人全体4招募用户003测试日程安排文档项目助理009用户协议NDA010测试过程检查文档选择测试的任5004测试脚本主持人项目经理Checklist务011测试小结004测试脚本009用户协议NDA撰写测试任务005过程记录文档12接待用户项目助理6主持人项目经理010测试过程检查文档脚本006任务卡片007主持人记录表格同预测试主持人13测试实施全体012礼金签收表项目助理确定可用性测004测试脚本7主持人项目经理量维度005过程记录文档24www.brixd.com 编号阶段相关文档负责人参与者附录观察14数据分析013数据分析整理表主持人记录员001项目需求文档（ProjectRequirements）观察15报告撰写014测试报告模板主持人002用户遴选文档(UserScreener)记录员003测试日程安排文档(TestingSchedule)16沟通测试结果主持人项目经理004测试脚本(Script)005过程记录文档(LoggingSheet)17项目归档收尾DVD、PDF存档006任务卡片(TaskCard)007主持人记录表格008用户背景资料文档(UserProfile)009用户协议(NDA)010测试过程检查文档(Checklist)011测试后小结文档(Summary)012礼金签收表(Receipt)013数据分析整理表格(DataAnalysis)014测试报告(Report)__参考文献：1、《APracticalGuidetoUsabilityTesting》JosephS.Dumas,JaniceC.Redish2、维基百科25www.brixd.com 关于Bri我们用「设计+技术」创造最美的用户体验。Bri体验科技：电话：010-53616906网址：www.brixd.com6邮箱：service@brixd.com Bri体验科技以设计+技术创造最美体验我们为提供咨询、设计和研发的整合服务，包括移动互联网战略咨询、用户研究、数据分析、概念设计、交互设计、视觉设计、技术开发、工程测试与用户测试、产品运营。我们提供用户体验设计的全流程解决方案，帮助客户梳理Bri体验科技是一家以用户体验为核心的设计与技术服务用户体验流程、评估用户体验问题、开展用户研究、交互公司，服务于世界500强客户，提供高品质的用户体验设设计、视觉设计项目。计和咨询服务，以及移动互联网战略咨询、设计与开发的整合解决方案。我们拥有一流的产品经理、设计师、工程师和数据分析与用户研究员，将设计+技术做到极致，以创造最美的用户体验为己任，成就客户商业目标。以人文体验推动商业文明未来的5至10年，将是由移动互联网及一系列高新技术推动的新经济时代，传统商业将获得新的机会，同时也会迎接新的挑战，用户体验在这场赛跑中扮演着关键角色。Bri将帮助企业以卓越的移动互联网体验赢得先机。我们帮助企业制订与实施移动互联网战略，设计与开发手机和平板App，搭建包括微信公众平台服务系统在内的27www.brixd.com SNS工具包，咨询和开发大数据策略及分析平台，通过每一位Bri成员都是最亲密的伙伴，每一个伙伴都在和公移动互联网传播品牌、辅助销售、实现业务信息与流程移司一起成长，在完善的职业发展体系之下不断提高专业能动化、并实现与消费者的紧密和持续互动。力。我们拥有健全的用户研究、视觉设计、交互设计、技术开发和产品运营团队，每位伙伴都能在团队的支持下获创造力的社会学实验得健康成长。我们鼓励各种角色之间的交叉学习与交流。一群有商业视角、艺术气质、设计思维、技术能力的、有伙伴们一起旅行（Bri冲绳游，Bri清迈行），一起桌游、梦想和快乐的人们聚在一起，会绽放出多么强大的创造一起健身、一起吃公司管的饭，一起享受假期（春节2周力？这就是Bri的社会学实验。假期）。人在一生当中，相当长的时光是在工作中过度，Bri的成员来自IBM、甲骨文、阿里巴巴、网易、创新工工作并不仅仅是工作，我们认为，工作有时就是生活本场等等，设计专家、心理学专家、技术极客、运营高手和身。所以，伙伴们会确保快乐的工作，无论是来自伙伴的社交网络研究学者，不同专业背景、不同角色在这里协作支持、信任还是生活的五彩缤纷，我们是更大的一家人。与互补，碰撞出创新的火花，共同创造最美的体验。人文与科技、设计与技术，这些看起来总是分岔而行的方向，在这里被重新整合起来。我们相信，美也是一种颠覆式创新。理想主义的伙伴们创造美好的事物，改善人们的生活，给商业文明以人文体验，这是一群两眼闪烁着创造力火花的理想主义者的目标。在Bri，完成工作永远不是目标，只有创造美的事物才是目标。28www.brixd.com 服务移动互联网整合解决方案用户体验设计&咨询培训&教育•战略咨询（方向、平台与技术策•用户与需求研究•移动互联网产品设计略）•产品概念设计•用户体验设计•应用设计与开发•界面设计•用户体验如何融入企业研发流程•iPhone,iPad,Android•交互设计•用户体验的方法、原则和技巧•HTML5WebApp•视觉设计•网上银行的用户体验评估与设计•微信公众平台开发与支持•设计规范与风格指南•通信行业客户体验•数据追踪与深度分析•可用性评估•面向大学的移动互联网和交互设计•行业应用解决方案教育29www.brixd.com 体验之美www.tiyanzhimei.com用户体验·产品·技术·创业「体验之美」是Bri体验科技的知识共享项目，我们会将自己在移动互联网产品设计、用户研究、用户体验设计、产品和体验设计师职业发展、移动互联网技术等方面的经验和思考分享出来。包括网站、微信公众账号、知乎专栏等多个内容发布渠道。精彩内容，请移步体验之美网站。扫描二维码关注微信公众账号，或搜索“tiyanzhimei”，获取最新推荐。30 最美应用www.zuimeia.com企业App研究mb.brixd.com每天一个最美的应用推荐「企业App研究」是Bri体验科技的细分研究领域。移动互联网逐渐蚕食传统互联网的市场，「企业App研「最美应用」的初衷是为移动互联网人分享那些经过精心究」与大家一起探讨传统企业如何应对移动互联网的趋设计的、用户体验最美的应用。我们努力将这些最美的闪势，找到新的宣传渠道和盈利渠道。光点汇集起来，让功能之美、交互之美和视觉之美能够在这里绽放出光彩。精彩内容，请移步企业App研究。精彩内容，请移步最美应用网站。扫描二维码关注微信公众账号，或搜索“企业App研究”，获取最新推荐。扫描二维码关注微信公众账号，或搜索“最美应用”，获取最新推荐。31'