性能测试平台(云上的移动性能测试平台)

1.功能决定现在，性能决定未来。

性能测试一直是移动测试领域的一大难题，其最直观的表现就是用户在前台使用app时的主观体验。但是，体验的背后有很多技术的改变。

当我们习惯了诺基亚，智能机出现了；当我们学会了原生开发，杂交就来了；当各种混合框架下的巨型应用趋于成熟，小程序出现在我们面前；继直播、iot、ar、vr、人工智能之后，新的技术和应用场景正在以超乎想象的速度发展。面对快速变化的场景和开发技术，性能测试技术面临着巨大的挑战。当我们还在纠结怎么考A的时候，B已经出来了。

性能测试本身有成熟的解决方案，如在线性能监控APM和离线性能收集工具。有各种应用场景衍生出来的测试技术，比如压力测试、稳定性测试、功耗测试等。还有基于各种性能指标(内存、cpu、功耗、流量)的各种特殊测试能力。

我们致力于打造线上和线下的性能解决方案，希望帮助开发者发现、定位和解决一系列移动性能问题。本文将重点介绍EMAS性能测试平台的功能和规划。还是那句话，功能决定现在，性能决定未来。

2.云上的性能测试工具

通常，当我们进行特殊测试时(内存、cpu、功耗、流量等。)，我们需要准备测试模型、测试包、测试环境和测试数据，会遇到以下问题:

没有足够的模型。

调试包可能不能真实反映量产包的性能，但是Android Studio需要调试包来测试。

Android/iOS测试环境搭建困难，跨平台。

整理和分析大量的测试数据。

这些问题很容易导致整个测试效率低下，甚至无法实施。

基于EMAS云真机的调试能力，MQC在云上提供了更加完善便捷的性能测试工具。

云机器自然提供多达600+的测试模型，支持调试测试所有已安装的应用，不依赖任何本地环境配置，一键上传测试数据进行统计。

同时，EMAS性能测试工具具有化的特点:

基于app_process和instr度量协议的移动双终端、跨平台性能采集；

非入侵、间隔短(采集间隔稳定1s)、延迟低(性能数据的延迟小于100ms)、功耗低(对设备性能的影响小于1%)；

应用+进程的测试方案可以满足hybrid和applet的测试需求。

3.云上的数据看板

性能数据的意义在于，它通过技术手段对各种常见问题进行度量和量化，可以帮助我们在产品功能上线之前，尽可能地发现潜在的性能问题和风险。MQC性能测试平台将存储在云端的数据以尽可能多的维度可视化呈现给用户，在发布前把好发布关。

3.1任务

用户使用云真机的每一个测试任务和性能数据都会直接保存为测试任务，方便再次查看和确认历史数据。

3.2使用案例

在实际测试过程中，很容易发现不同应用场景的性能数据是完全不可比的，仅看统计方法中性能数据的平均值很难直接给出定性和定量的判断，无法影响开发和产品的决策。

即使看起来是同一个场景，不同的产品决策也可能带来性能数据的较大差距:比如基于流量和性能的考虑，云盘的相册大多显示压缩图片；而我们本地的一些相册软件基本都是显示原图，所以产品的选择导致内存成本差异巨大。

数据板在设计之初就吸收了构建功能自动化用例平台的经验，将每个性能测试任务存储在用例中，并根据不同的用例维度统计性能数据。在EMAS移动测试控制台中，不同的子账户可以查看和管理相同的app和用例，以满足多用户云协作的需求。

3.3多维聚合

在用例维度的基础上，MQC性能测试平台提供了多维度的数据统计、汇总和分析能力。

设备分类

根据设备硬件性能得分，分为高、中、低三个等级。因为不同的模型对APP实际性能指标影响很大，所以这个因素可以大大降低硬件性能对指标置信度的影响。

应用程序版本

对于绩效指标，通常有三个判断问题的标准:

基于行业技术经验定义的基线指标，通常是技术决策者基于用户体验、性能需求和大数据分析为开发提出的底线标准；

横向对比行业APP的性能指标，学习行业内优秀的技术实现一直是互联网快速发展的重要原因之一。

与不同版本的APP进行纵向对比，快速发现新版本的优化效果、新功能对APP的影响等。

指数分布

指数分布可以帮助开发者快速判断指数区间，定位可能的异常任务和异常指数区间，更有针对性地查阅任务报告。

4.未来规划

丰富的指标:我们将继续完善更多性能指标的采集方案，如功耗、GPU、温度等。

行业指标:MQC会根据云上的开发者数据和专家测试数据，整理统计各行业的业绩指标，以供参考和分享；

基线:如上所述，性能指标通常有三个观察标准，即同行业APP性能指标；不同版本APP的性能指标；基于技术解决方案和行业数据的性能标准。性能基线的定义可以更好地约束开发者对极致性能体验的追求，最大限度地降低出现性能问题的概率，比如OOM和ANR。