用户驱动的测试是新常态

一则或许对你有用的小广告

欢迎加入小哈的星球 ,你将获得:专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡/ 赠书活动

目前,正在 星球 内带小伙伴们做第一个项目:全栈前后端分离博客项目,采用技术栈 Spring Boot + Mybatis Plus + Vue 3.x + Vite 4手把手,前端 + 后端全栈开发,从 0 到 1 讲解每个功能点开发步骤,1v1 答疑,陪伴式直到项目上线,目前已更新了 204 小节,累计 32w+ 字,讲解图:1416 张,还在持续爆肝中,后续还会上新更多项目,目标是将 Java 领域典型的项目都整上,如秒杀系统、在线商城、IM 即时通讯、权限管理等等,已有 870+ 小伙伴加入,欢迎点击围观

正如 Capgemini 最近在其 2015-2016 年新世界 质量报告 中所说,“消费者使用模式必须驱动测试场景。”我们同意。向数字化的过渡使组织能够通过任何数字屏幕更好地与用户互动。

许多测试专业人​​员已经意识到这一差距并正在采取行动。但在接受全面以用户为中心的测试方面仍然存在挑战,包括:

1) 确定要测试的条件以及代表组织最重要用户的特征。

2) 如何以可控、可重复和一致的方式创造这些条件。 我需要让我的 IT 和运营团队参与进来吗?

3) 收集足够的数据以指出故障的根本原因并加以纠正。

4) 在测试周期的早期发现故障点,这样我就可以在投入生产之前快速做出反应并纠正问题。

在我们努力应对这些挑战并鼓励企业改进其应用程序对现实世界的准备时,我们采用了 “将您的用户带到实验室”的口头禅。

这种在测试范围内包含真实用户条件的新方法称为 Wind Tunnel™ 。它是建立在我们现有的基于云的持续质量实验室之上的一项新功能。

那么 Wind Tunnel™ 到底有什么作用呢?

首先,Wind Tunnel™ 提供了一组用户配置文件,可帮助定义在测试期间需要模拟的真实用户条件。我们的目标是使测试方法与您为其创建应用程序的实际用户保持一致。

例如,酒店应用程序可能主要针对旅行销售人员。这个销售人员可以用几个人口统计属性来描述。例如,她使用最新的 iPhone 和 iPad 设备以及最新的操作系统版本。她跳上飞机,使用机载 Wi-Fi,然后继续使用蜂窝网络。她正在快速改变蜂窝连接,并在后台运行许多社交和生产力应用程序。而且她会以电话、短信和 Twitter 提醒的形式受到很多干扰。

下面是名为 Georgia 的“企业道路勇士”用户配置文件的示例。 Perfecto 将提供大量这样的预设用户配置文件供您选择,还将提供根据您的需要自定义用户配置文件的能力。

用户个人资料信息图:您是否为所有类型的人进行测试?

这是一个代码片段,展示了将用户配置文件添加到您的脚本是多么容易:

capabilities.setCapability("windTunnelPersona", "角色名称");
例如:capabilities.setCapability("windTunnelPersona", "Georgia");

在测试启动期间,用户配置文件由以下设置定义:

  • 位置(通过设置地址或纬度/经度)
  • 任何网络(3G、4G – 差、好等)
  • 任何后台应用名称
  • 屏幕方向
  • 任何设备和操作系统(新的,旧的)

将 Wind Tunnel™ 注入功能测试

上述功能基于现有的自动化框架——例如云中的 Selenium——它允许客户实现用户驱动的功能测试自动化。 目标是在测试中找到仅在将用户配置文件包含在测试中时才会暴露出来的故障。 定义用户配置文件后,Wind Tunnel™ 将设置运行测试的环境。该设备将被注入模拟位置,应用程序网络流量将通过对真实世界条件的模拟。这些条件可以轻松应用于 Cloud-SaaS 托管环境。 Perfecto 增强了其云产品,以允许这些真实世界的方面与您的测试并行呈现。这样,您的用户配置文件测试可以随时运行——它是可重复和一致的。

使用 Wind Tunnel™ 分析用户驱动的测试

Wind Tunnel 的主要目标是发现故障点或用户体验下降,并允许开发测试人员快速排除故障原因。鉴于设备上应用程序的复杂性和脆弱性,我们希望为设备上、应用程序内部和周围发生的事情提供尽可能多的数据点。 Wind Tunnel™ 收集和报告 UI 资产(如屏幕截图和视频),并根据实际设备 UI 测量事务计时器,并允许对测试运行进行可操作的验证。

此外,Wind Tunnel™ 报告旨在在分析测试结果时快速吸引测试人员的注意力。

在下面的示例中,5.2 秒的计时器超过了特定用户配置文件的阈值。但数据分析表明,这是由于高清视频播放导致应用程序 CPU 飙升的结果。 随着组织为数字化转型的新时代做好准备,满足用户期望将成为成功的强制性要求。 Wind Tunnel™ 是同类产品中的第一个,用于测试真实的用户条件并在真正的故障到达用户之前揭露它们。