代码归你所有 · 证据归你所有

Nexus Studio: 判断测试失败是真正的缺陷还是干扰

Nexus Studio 是一款面向 Playwright、Selenium 和 pytest 的本地部署 QA 操作系统,使用 14 种判定结果评估测试,并保留每次失败的证据。

这是一款 Windows 桌面应用。每次失败都会连同报告、截图和日志一起归档,记录可通过 SHA-256 链封存,测试数据不会离开您的电脑。

正在为团队做决策?阅读面向管理者的页面 →

14
提供判定结果,而不只是通过或失败,每次失败均连同报告、日志和截图归档
6,057
发布门禁中的测试:引擎 2,997 项,Studio 3,060 项
0
我们的服务器上存储的测试数据副本
Test casesRun patrolNexus RecorderAI writerTest Adapter
e2e › TC90TC91 webkit · TIMEOUT firefox · TIMEOUT chromium · TIMEOUT
TerminalRunsTimelineSelectorsPredict
TC90 · TC913 engines · one after anotherTIMEOUT TC91: 0 passed · 3 failed
[13:22:06] TC90 webkit running
[webkit] Error: expect(locator).toHaveAttribute(expected) failed → TC90_Example_domain.js:27
[retry] webkit › TC90: general failure, checking for flakiness (attempt 2/2)
[13:22:37] TC90 webkit FLAKY 31.2s retry 1 · passed on attempt 2 of 2: the first attempt failed, nothing was repaired
[13:22:54] TC90 firefox SECURE 16.8s no retries
[13:23:01] TC90 chromium SECURE 7.4s no retries
= TC90 matrix 3 browsers · 2 passed · 1 with reserve · 0 failed · PASSED: webkit recovered after retry
[13:24:18] TC91 webkit TIMEOUT 1m 16s retry 1 · locator.click: Timeout 30000ms exceeded. at TC91_Example_more_info.js:19
[13:25:39] TC91 firefox TIMEOUT 1m 21s retry 1
[13:26:57] TC91 chromium TIMEOUT 1m 17s retry 1 · a step never completed within its time limit
= TC91 matrix 3 browsers · 0 passed · 0 with reserve · 3 failed · FAILED: passed on 0 of 3 · webkit: TIMEOUT, firefox: TIMEOUT, chromium: TIMEOUT
以下是 2026-09-30 针对 example.com 的两次运行的精简展示:时间、判定和各浏览器的耗时均来自实际运行,行与行之间的展示节奏并非实际节奏,逐行显示的进度仅作示意。两项演示测试都经过刻意安排:TC90 的首次 WebKit 尝试被故意设为失败,TC91 则故意针对旧的链接文本编写。

估算

编写测试成本不高。持续维护才是难点。

问题分诊、失效的选择器和不稳定测试的重跑每周都会耗费数小时。填入您自己的数据,查看耗时:示例数值算出的耗时减少约 54%, 这是我们的假设,并非实测结果。

以下为示例数值,请自行修改。分钟数为我们的假设值。

失败与分诊
您的团队每周打开查看的失败运行次数。
收集截图,日志和网络错误,然后判断问题性质。
阅读判定结果和报告,再做决定。
失效的选择器
界面更改后不再匹配的定位器。
找到元素,编写新定位器,再次运行。
打开 Repair line, 选择一个候选项,再次运行以验证。
不稳定的测试
需要人工重新运行以确认能否通过的失败测试。
发现失败,重新运行,确认通过。
重试在本次运行内完成,并记录为 FLAKY. 您只需阅读判定结果。

手动处理59 小时/月

使用 Studio27 小时/月

减少量54%

根据您提供的数据估算,并非实测结果。

计算方式:将每类工作每周的次数乘以每次耗时的分钟数,求和后乘以 52 周再除以 12 个月,最后除以 60。编写测试和等待运行的时间不计入。

工作原理

三个步骤,全部在您掌控的机器上完成。

  1. 编写或录制测试。

    在真实浏览器中点击操作您的应用,Nexus Recorder 就会编写标准的 Playwright 或 Selenium 代码,全程无需 AI 参与。也可以导入已有测试。测试始终归您所有:使用原生 Playwright、Selenium 和 pytest, 不受厂商锁定。文件是什么样的,以及如何迁出

  2. 运行测试,获取判定结果。

    Patrol 可依次运行 Chromium、Firefox、WebKit 和 Android 真机,也可同时运行最多三项。每次运行会得到 14 种判定结果中的一种,而不只是通过或失败,让网络缓慢、机器人验证和真正的缺陷不再混为一谈。

  3. 留存证据。

    每次失败均连同报告、截图和日志归档,SHA-256 链可证明归档后未发生任何更改。查看一次失败会归档哪些内容

  • SECURE
  • CHAOS_RESILIENT
  • AUTO_RECOVER
  • FLAKY
  • PERFORMANCE_DEGRADED
  • A11Y_VIOLATION
  • SECURITY_VIOLATION
  • BREACHED
  • BREACHED_FLAKY
  • CHAOS_BREACHED
  • TIMEOUT
  • UNREACHABLE
  • BLOCKED
  • CRASHED

14 种判定结果各自的含义

Nexus Studio 的独特之处

六项承诺决定了产品的运行方式,每一项都可由您亲自验证。

  • 你的应用在哪里运行,它就在哪里运行。

    Studio 在您的 Windows 11 电脑或迷你电脑上运行,其引擎可在本机上直接执行测试套件,也可在本机的 Docker 中执行,或通过 SSH 在您的网络或 VPN 中的另一台机器上执行。测试,证据和历史记录始终保留在这些设备的磁盘上。

  • 给出判定,而非仅用颜色标示。

    十四种判定结果可将网络缓慢,机器人验证或浏览器无响应与真正的缺陷区分开来。只有失败和超时才会通知 Jira, 网站被阻止访问或浏览器崩溃则不会,确保您的待办列表中只有真正的缺陷。

  • 不会悄悄亮绿灯。

    重试后才通过的测试会报告为 FLAKY. 未注入任何故障的混沌测试会报告为 NOT_INJECTED. 自愈功能会提出修复建议,并在您作出决定前始终将该次运行标为红色。

  • 可供您验证的证据。

    记录中的每个文件都会计算哈希值,并与前一个文件建立链式关联。Verify 会指出首条发生变化的记录,让您无需盲目信任仪表板。

  • AI 由您选择,行为受规则约束。

    您自己的 AI 工具或本地模型负责起草测试。采用确定性规则的 Vet 对其进行检查,草稿试运行可用于预演,只有您接受后才会保存。Recorder 完全不使用 AI.

  • 主动测试须征得同意。

    负载测试,安全扫描和基础设施混沌测试只有在获得明确授权后才会启动,授权记录也会与证据一同保存。

专为解决这些问题而打造。

选择一个问题,查看 Studio 如何解决它,以及在哪个界面中操作。

不稳定的测试被当作真实缺陷提交。

重试后通过的失败测试会被归类为 FLAKY, 而非缺陷,不会提交任何问题。启用 Jira 或 Azure Boards 后,运行失败会为每个测试创建一个问题,TIMEOUT 也不例外;再次失败会添加评论,完全通过则会关闭问题。BLOCKED、UNREACHABLE 和 CRASHED 均不会创建问题,无法启动的测试也不会,因为这并不构成测试结果。

Patrol, Evidence Locker

网站拦截了机器人,报告却归咎于应用。

403、429 或来自 Cloudflare、reCAPTCHA 或 hCaptcha 的验证页面会被报告为 BLOCKED: 这是一种环境判定,绝不会提交工单。默认隐藏自动化特征。

Evidence Locker, 设置

每次 UI 变更都会导致选择器失效。

步骤失败时,更可靠的候选定位器已准备就绪,“修复行”会优先应用最可靠的候选项,最后才使用 XPath. 定位器健康检查会在脆弱的选择器失效前将其标记出来。

Patrol

证据散落在截图和聊天记录中。

每次失败运行的报告、元数据、截图和原始日志都会集中归档。真实失败还会保留视频 (您可在设置中选择哪些判定需要保留视频), SHA-256 链可证明这些内容事后未经更改。

Evidence Locker

排查分类耗费整个上午。

取证报告汇集了失败情况、遥测数据和页面错误,您选择的 AI 还可补充分析。将失败标记为“真实缺陷”或“误报”时,只需填写一个理由。

Evidence Locker, AI 提供商

三个浏览器加两部 Android 手机,就得运行五次。

一次 Patrol 运行即可覆盖 Chromium、Firefox 和 WebKit, 默认依次执行,也可最多三个同时执行,还支持 Android 真机,每个引擎各有一个判定结果。

Patrol, 设备 & 移动端

安全测试总被留到最后,甚至根本不做。

Smart Monkey 扫描经授权的目标,检测 XSS、SQL 注入、SSRF 等漏洞,通过您本机上的监听器确认盲测发现的漏洞,并导出 SARIF.

安全

没人知道应用能否挺过故障中断。

Chaos Lab 在测试中途降低网速或切断网络、限制 CPU 性能,并暂停或终止 Docker 容器,同时测量应用的恢复情况。

Chaos Lab

性能退化未被察觉就已上线。

Web Vitals 默认启用,并依据性能预算进行评估。Load 额外提供 p95 和 p99 延迟,并在负载运行期间对真实页面进行采样。

Load, 历史记录

迁移测试套件似乎风险太大。

无需迁入或迁出任何专有格式:Recorder、AI 编写工具和 Test Adapter 生成的都是 Playwright、Selenium 或 pytest 代码。

Test Adapter, Nexus Recorder, AI 编写工具

QA 数据存放在别人的服务器上。

Studio 在您的 Windows 11 电脑或迷你电脑上运行,其引擎可在该机器上、该机器的 Docker 中,或通过 SSH 在您的网络或 VPN 内的另一台机器上运行测试套件。许可证检查会发送机器哈希值、随机数、令牌,以及机器的主机名、操作系统和 Studio 版本,绝不发送测试数据。

Docker 界面 · 掌控自己的基础设施

了解更多: 不稳定的测试还是真正的缺陷, 应用正常却失败的测试以及界面变更后失效的测试.

从首个测试到发布决策,一个工作台全部涵盖。

QA 负责人每天使用的六个功能区。每张画面均基于 Studio 自身的标签和真实工作区构建。 Studio 导览将逐一介绍所有界面。

Nexus Recorder 会随着你的点击编写 Playwright 或 Selenium 代码,全程无需 AI 参与。AI 编写器使用你已有的 AI 工具,Test Adapter 则导入团队编写的测试。确定性审核工具 Vet 会检查这三种来源的代码,并对 AI 编写的代码执行最严格的标准。

Test casesRun patrolNexus RecorderAI writerTest Adapter

Record a test

url to recordhttps://example.com/
record forDesktopMobile emulatedReal Android device
enginechromiumfirefoxwebkit
languageJavaScriptTypeScriptPython
VetWARN0 blocked · 1 warningline 16 · V7 · "form": matches ALL <form> on the page…

选择目标和引擎,Patrol 即可依次运行,或同时运行最多三个。新测试先在沙盒中试运行,沙盒中的运行不会计入历史记录。

Test casesRun patrolNexus RecorderAI writerTest Adapter

Target

Desktop matrixMobile emulatedReal Android deviceDesktop + real Android device

browserschromiumfirefoxwebkit
parallel123

headedvisuala11ysecurityno retryno stealth

Run patrol for real (1 TCs)

Watch 会定时重新运行选定的测试,仅在状态变化时通过 Telegram 或 Slack 发送提醒。它以独立进程运行,因此关闭 Studio 也不会使其停止。对于流水线,CI/CD 界面会为你编写 GitHub Actions 或 GitLab CI 文件。

Watch

re-runs the selection · alerts only when a state changes

RepeatOnce, on a date

every5m15m1h6h24h
endswhen I stop itafter a number of runson a date
start watch
CI/CDGitHub Actionsnightly regression0 6 * * *runs onMy machine

每次失败都会归档,便于你查看取证报告、元数据、遥测数据、原始日志,以及 AI 响应后给出的分析:Studio 的默认设置已启用此功能。分类处理时需要填写原因,而真正缺陷或误报的判定也会加入证据保管链。

Bug Reports
TestIdentityVerdictWhen (UTC)
TC98device-android-phoneTIMEOUT09-29 00:24
TC03firefoxBREACHED09-27 19:06
ReportMetadataTelemetryRaw LogAI Analysis

TC03 · chromium · 2026-09-27_13-46 [BREACHED]

metadata.json 1.3 kB · report.md 3.0 kB · screenshot.png 46 kB · video.webm 469 kB

Real bugFalse alarmArchive…

Chaos Lab 会向浏览器注入故障,或暂停、终止已注册的 Docker 容器,同时测量恢复情况。Load 会报告负载下的百分位数和 Web Vitals 指标。Smart Monkey 会扫描你获准测试的目标。

Chaos Lab

Offno chaos
Network (≈3G)adds latency per request
Offline blackoutfull network cut for a window
CPU throttle 4xChromium only, skipped elsewhere, with a warning
All at oncenetwork + cpu + offline together
InfrastructureRESILIENTDEGRADEDNOT_RECOVEREDNOT_INJECTED

历史记录会按每个身份保留每个测试的历次运行。不稳定性预测器依据这些历史记录评估风险,并说明其置信度。Executive Report 则将其转化为发布决策:可以发布、谨慎发布或不可发布。

Identity matrixclean passes / runs · 2026-09-27 to 09-29
TestchromiumfirefoxwebkitAndroid phone
TC029/9 SECURE7/8 SECURE6/6 SECURE1/1 SECURE
TC035/7 SECURE4/7 SECURE5/7 SECUREno runs
TC046/6 SECURE6/6 SECURE6/6 SECURE0/1 TIMEOUT
PredictTC04 Android phone risk 50% 1 run, low confidenceTC03 firefox 16%TC02 firefox 10%

Enterprise

从设计之初就满足企业需求

安全与合规团队所需的管控功能已内置于产品中,而非附加组件。

  • 审计日志与证据保管链。

    记录中的每个文件都会计算 SHA-256 哈希值,并与前一个文件链接成链。每次“真实缺陷”或“误报”的判定也会加入链中,因此判定历史与其依据的证据一样,都可验证。

  • 测试数据始终留在您的网络内。

    许可证检查是唯一的出站连接,且不携带任何测试数据。

  • 无需隧道,无需暴露预发布环境 URL.

    测试套件可直接访问 localhost 或私有预发布环境 URL 上的应用,无需建立隧道或公开地址。

  • 在您的基础设施上运行。

    支持 Windows 11 或 Ubuntu 24.04 LTS, 可在本地、Docker 中或通过 SSH 运行,每个工作区只需一项设置即可选择。

  • 一切由您掌控。

    代码、证据和历史记录均以普通文件形式保存在您的工作区中。您随时可以离开,并带走所有内容。

深入了解

每个主题都有专属页面。

详情、限制及其背后的证据,都可在相应页面完整查阅。

  • 一次失败会留下什么。

    每次运行失败都会归档取证报告、元数据、遥测数据、原始日志以及失败画面的截图。真正的失败还会保留视频,连接你自己的 AI 后,报告也会附带分析。 查看真实的失败记录文件夹

  • 你的测试始终是标准代码。

    你拥有的普通 Playwright、Selenium 和 pytest 文件,以及有文档说明、可随时退出的方式。 查看文件是什么样的

  • 无需隧道即可测试 localhost.

    引擎启动你的应用,等待其响应,运行测试后将其停止,无需暴露预发布环境 URL. 工作原理

  • 让测试套件持续可用。

    定位器健康检查会在脆弱的选择器失效前将其标记出来,Repair line 则在步骤失败时换用更可靠的选择器。 容易失效的选择器

  • 哪些数据会离开你的网络。

    仅进行一次许可证检查,不发送任何测试数据。你启用的其他功能均直接从你的机器连接各自的服务。 查看所有连接

为何值得信赖

  • 你的应用在哪里运行,它就在哪里运行。

    在您的 Windows 11 电脑或迷你电脑上使用,引擎可在本地、Docker 中或通过 SSH 运行。位于 localhost 或私有预发布环境 URL 的应用可直接按原样测试:无需隧道,无需公开 URL。localhost 测试的工作方式

  • 不会悄悄亮绿灯。

    重试后通过会被判定为 FLAKY。自愈功能会提出修复建议,在您作出选择前,运行结果仍保持红色。

  • 可核验的证据。

    每条记录中的所有文件均计算 SHA-256 哈希值,并链接到前一条记录。验证功能会指出第一条发生更改的记录。

  • 主动测试会先征求许可。

    负载测试、安全扫描和基础设施混沌测试只有在明确授权后才会启动,授权记录会与证据一同保存。

  • 一切由你掌控。

    代码、证据和历史记录都以文件形式保存在你的工作区中。随时可以离开。

您是 CTO 或创始人? 了解它能为团队做什么 · 完整术语表

您的测试和证据只有在您主动发送时才会离开您的设备,例如发送给您连接的 AI 服务提供商。

Nexus Studio 自身仅发起一种连接,不传输任何测试数据:许可证检查。密钥仅在激活时发送一次;此后的每次检查都会发送机器哈希值、一次性随机数、令牌以及机器的主机名、操作系统和 Studio 版本。

The one line out of your network Inside your network: Nexus Studio and its engine, your apps under test, browsers and phones, and your tests, results and evidence. A single line leaves it: the license check to the license server on Cloudflare, carrying a machine hash, a nonce, a token and the machine's host name, OS and Studio version. License serverCloudflare YOUR NETWORK machine hash+ nonce + token+ host, OS, version Nexus Studio + engine Apps undertest Browsersand phones Tests · results · evidencescreenshots, videos, reports, historynever sent
  • 谁能看到这些信息。许可证服务器运行在 Cloudflare 上,因此 Cloudflare 能看到每次检查的 IP 地址。我们绝不会收到你的测试数据。我们会保留你的电子邮箱、账单状态和许可证记录。
  • 由您决定启用哪些功能。只有在您配置后,Jira、Slack 或云端 AI 才会从您的机器直接连接相应服务,绝不经由我们中转。
  • 所有外传内容及其保留时长, 以及证据在电脑、迷你电脑、Docker 或租用服务器上的存储位置。

快速入门

上手的前 7 分钟。

从开始试用到获得首个判定结果。每一步所需的时间取决于您的机器和应用。

  1. 开始试用并安装。

    开始 30 天试用,下载 Windows 安装程序,粘贴您的密钥以激活。最低要求为 Windows 11 和 16 GB 内存。

    Download for Windows · Activate · New folder
  2. 录制并试跑您的首个测试。

    打开 Nexus Recorder, 选择一个 URL, 然后点击操作您的应用。新测试会先在沙箱中试跑,不会向证据库或历史记录写入任何内容。试跑三次后,即可首次正式运行。API 录制不提供沙箱。

    Nexus Recorder · Record a test · Run in sandbox
  3. 运行测试并查看判定结果。

    在 Chromium、Firefox 和 WebKit 上运行。每个浏览器上的运行都会得到 14 种判定结果中的一种,失败时会连同报告和截图归档到 Evidence Locker。

    Patrol · Evidence Locker · SECURE · FLAKY · TIMEOUT

阅读入门指南 →

按设备计费。所有套餐均包含全部功能。

个人版每月 $79,可用于 1 台机器,团队版每月 $199,可用于 3 台机器,商业版每月 $599,可用于 10 台机器,按年付费可免费获赠 2 个月。企业版需单独报价。不按用户数或测试次数收费,并提供 30 天试用,无需信用卡。

上线优惠:40 个创始客户名额满额后,年度套餐首年享七折优惠,活动截至 2026 年 12 月 31 日。

决定之前: 了解支持与长期保障, 或将 Nexus Studio 与 BrowserStack、Sauce Labs、LambdaTest、QA Wolf 和 Checkly 进行比较.

常见问题

  • Nexus Studio 可以替代 BrowserStack 吗?

    对于运行 Playwright 或 Selenium 测试并希望在自己的机器上执行测试的团队,是的。对于需要数千种浏览器和设备组合的团队,则不是。Nexus Studio 不提供云端运行器:它在您掌控的机器上运行,不按并行运行次数收费。详情请参阅对比页面。

  • 不用云端网格也能运行 Playwright 测试吗?

    可以。Playwright 可以在您自己的电脑、Docker 或 Linux 服务器上运行,云端测试网格并非必需。Nexus Studio 在此基础上增加了录制器、定时运行、结果判定和证据留存功能,测试仍然是标准的 Playwright 文件。它运行于 Windows 11, 最低需要 16 GB 内存。自托管 Playwright 页面介绍了各个选项。

  • 不稳定测试会耗费我多少小时?

    这取决于您的实际数据,因此 Nexus Studio 不提供统一的数字。将团队每周需要处理的失败次数乘以每次所需的分钟数,加上处理失效选择器和重新运行的时间,再换算为每月小时数。按上述示例值计算,人工处理每月需要 59 小时,这是假设而非实测结果。不稳定测试成本计算器可使用您自己的数据进行计算。

  • 如何在不使用隧道的情况下测试 localhost?

    将 BASE_URL 指向 localhost 上的应用或私有预发布环境 URL. Nexus 引擎会在运行前启动应用,等待其响应,运行测试并在结束后停止应用,无需隧道,也无需暴露预发布环境 URL. 它可在 PC 上、Docker 中或通过 SSH 运行。 localhost 指南提供了详细说明。

  • 哪些数据会离开我的网络?

    您的测试数据都不会。Studio 唯一主动发起的连接是许可证检查:激活时发送一次密钥,此后发送机器哈希值、随机数、令牌以及主机名、操作系统和 Studio 版本。测试名称、代码、结果、截图、视频和历史记录都保留在您的机器上。安全与隐私页面列出了所有连接。

  • Nexus Studio 会将我的测试锁定在其平台中吗?

    不会。Nexus Recorder、AI 编写器和 Test Adapter 生成的是标准的 Playwright、Selenium 或 pytest 文件,您的团队可以阅读、编辑并保留这些文件。Python 测试使用标准 pytest 运行,Playwright JavaScript 测试只需将导入指向 @playwright/test, 即可脱离 Studio 运行。API 测试使用 Studio 自有的格式,因此文档中说明了迁出方法。

  • Nexus Studio 如何收费?

    套餐按机器计费,每个套餐均包含全部功能。Individual 包含 1 台机器,Team 包含 3 台,Business 包含 10 台,Enterprise 单独报价。不按用户、测试或并行运行次数收费,30 天试用无需信用卡。定价页面列出了全部价格。

  • Nexus Studio 会推出云版本吗?

    托管云版本已在规划中,但目前尚未推出,也没有发布日期。本网站的所有内容描述的都是您现在可以下载的产品,它运行在您掌控的机器上:您的电脑、迷你电脑、Docker 或通过 SSH 连接的 Linux 服务器。

  • 哪些情况下 Nexus Studio 不适合使用?

    如果您不使用 Windows, 需要 iPhone 真机、数百种浏览器和操作系统组合,或希望由他人托管测试运行,它就不适合。此外,它目前还不支持 SSO, 也没有 SOC 2 报告。对比页面提供了完整列表。

最后更新:

用你自己的应用试跑一次。

在您的设备上免费使用 30 天,畅享全部功能。无需信用卡。

向我们提问