在用户至上、体验为王、唯快不破的移动互联网时代,借着在测试领域的七年工作经验积累来简单谈谈质量工程师可以参考的几点工作思路。
思路一:关于质量和过程的两个进阶
其一,质量上的进阶:从程序质量、用户体验再到产品品质。要引领品质,输出QA的价值。
《京东技术解密》中有一段话,“技术需要分三步走,支持业务,驱动业务,再到引领业务”,受益匪浅,QA的质量价值输出同样也需要如此进阶的过程:作为支撑部门,负责程序质量是我们工作的基本面,到达第一个层级“支持业务”;从程序质量到用户体验,驱动业务体验迭代越来越好,做到第二个层级“驱动业务”。QA作为用户的代言人,从体验到品质,树立产品的用户口碑,以最好的体验领跑市场,力争第三个层级“引领品质”。
如下表格简要列出“程序质量”、 “用户体验”、“产品品质”过程中的工程手段以及关键性指标。
第二,过程上的进阶:从线下持续集成、灰度质量收敛再到线上质量监控。做全流程质量保障。
1. 持续集成 ,小步快跑,快速迭代。
持续集成是把线下测试能力,包括代码检查、编译、自动化、性能、系统测试等集成起来,用自动化方式来统一质量标准并规范流程,将集成性问题尽早发现并充分暴露,同时验证对其他模块和整个系统的影响,提升系统管控能力,保证发布的时间确定性。
2. 灰度收敛,最少的用户暴露尽可能多的问题并快速修复。
灰度能力建设包括精准推送(选取什么样的用户)、效果评估(发现问题)和止损修复(解决问题)。
3. 线上监控,QA的着力点应在业务质量和用户反馈。
QA做业务质量监控可以考虑的两个维度:用户视角,横向上质量标准体系呈现,一览全局;全局视角,纵向上核心质量全景刻画,云端各关联模块的信息联动,预防和解释业务变化的根本原因,见微知著。
在线上和线下两个过程中的QA工作实践中,会有很多同学碰到一些重线上还是重线下的困惑,实则线上和线下双手都要抓,先线下再线上,用线上的问题来复盘线下。一方面移动互联网时代场景、设备、网络的复杂性加剧在线下收敛所有问题的困难度,而且所有线下工作最后都体现在线上,质量工作离不开线上;另一方面若不重视线下,会带来线上更多的问题。每一个线上问题都值得好好复盘,为什么在线下不能发现,进而改进线下测试能力,不挖同一个坑。
用看过的一部励志电影《The Great Debaters》能更好的描述清楚线上和线下两件事情的关系, To do what we have to do then we can do what we want to do。
思路二: Top问题驱动闭环,立专项优化体验
首先回答,什么是QA的top问题?我们可从质量、效率两方面拆解:
一是产品上的用户痛点,从用户反馈和质量标准数据中寻找问题,往往对应的是业务线老大难问题,比如速度慢、视频卡顿等。
二是工作上的效率痛点,在迭代周期中寻找那些效率低下的问题,比如自动化低,迭代中问题不收敛等。
坚持思考当下的top问题,你会为接下来的工作找到很多思路。
Top问题的解决方案包括发现问题、定位分析、解决问题 、效果衡量。思考本身的技术拆解,逐个击破。比如业务线端上碰到的一个top问题是iOS视频崩溃,每天几十人的量反馈。这项问题优化可以拆解的技术为 1. 如何在线下复现这些崩溃,手工必然不靠谱,对应需要去做iOS场景的monkey测试,遍历大量的视频以及随机快进后退操作来发现问题;2. 崩溃数据采集与分析 3. 崩溃的修复。
所以,学会坚持思考当天top 3、一个月top 3和半年top 3,从而为当天,短期、 长期订下相关目标和计划。通常top问题多是老大难的疑难杂症,需要更多的韧力和坚持去攻克 ,需要具备积极的沟通和推动能力去协同多方角色一起解决。正是这些挑战,在解决问题的同时也会收获很多的个人成长。
思路三:两个即上线原理:监控即上线、定位即上线,练就业务质量刻画和分析能力。
一件事情,如果你无法很好地描述它,那么你不能进行衡量,如果你也不能衡量,那么你就不能很好的管理它。所以在功能迭代中,固有一项数据需求来源于产品,比如消费次数、使用频率等,用来做产品维度的管理。同样质量的管理,也需要同时产出一份质量数据的埋点需求。
问题一:质量数据需求从哪来?
站在用户、产品的视角,基于对业务的理解形成判断,列举迭代需求中的核心功能以及用户经常吐槽的高风险区域,进一步去衡量这些功能点的质量。提前把相关的数据预埋入产品中一同上线,上线了即可知道线上质量如何,一旦出了问题,有了数据,便能很快评估影响面、定位原因,而不会无从下手,到处抓瞎了。做到“监控即上线,定位即上线”,快速发现并解决线上问题。
问题二:要如何做到有效地预埋质量数据?
第一维度预埋监控数据:用户可感知的质量数据,比如文件下载服务对应即是用户感受最强烈的下载失败率、失败原因以及速度大小;
第二维度预埋定位数据:不符合预期的质量数据,比如文件下载一般对应的是多个链接并发下载,每个链接下载的成功率、来源服务器节点、错误原因等。
在这个数据预埋,收集及分析的过程能够非常考验人对业务的深度理解能力,刻画和分析产品质量。
思路四:成为一名质量分析师,提升系统性思维,风险评估及安全意识。
相对RD代码钻研能力,QA所擅长的是全局产品观、业务整体分析能力以及用户视角思维。运用这些优势服务于质量的最佳实践之一即是质量分析。在思路III提供了大量数据的基础上,系统级地剖析架构中的各项质量,定位出问题,哪些模块又是长期薄弱环节需要优化的。
下面举典型业务线的例子来讲讲两个非常普适的质量分析方法。
A. SLA (从后往前,由服务质量到体验质量):以接口调用链进行分解和关联,衡量指标有接口访问成功率、错误码分布以及响应时间这些指标。
如图1所示,按架构将服务分层分模块,每个层级中的每个模块都有对应的sla来衡量其服务的稳定性状况,能够清晰的度量出当前产品的质量全景稳定性;进一步,按业务逻辑梳理出关联关系,哪个模块的不达标一则逐步向功能层级递进,能够判断出对用户当前影响的功能。
B. 业务质量 (从前往后,由体验质量到服务质量) :用业务数据流将用户可感知的体验质量分拆到各模块对应的业务质量指标。图2所示是拿视频播放体验的用户感知到的体验质量如卡顿、失败率拆解到网络、服务中去的转码失败率以及用户本身网络等指标。如果用户维度的体验变差了,看视频变卡了,那么能从全链路的各环节中的关键性质量指标中找到症结并相应解决。
-
工程师
+关注
关注
59文章
1566浏览量
68441
发布评论请先 登录
相关推荐
评论