Nexus Studioのすべての用語を、一度で明確に定義。
Nexus Studio は、Playwright、Selenium、pytest 向けのオンプレミスQAオペレーティングシステムであり、テストを14種類の判定で評価し、すべての失敗の証拠を保持します。
以下の各項目は、その用語が存在するページへのリンク付きの文字通りの定義です。ページとこの用語集の内容が異なる場合は、ページの記述が正となります。最終更新日: .
製品情報
Nexus Studioの概要と、動作環境。
Nexus Studioとは?
Nexus Studio は、Playwright、Selenium、pytest 向けのオンプレミスQAオペレーティングシステムであり、テストを14種類の判定で評価し、すべての失敗の証拠を保持します。
オンプレミスQAとは?
お客様が管理するマシン上でテストを実行し、証拠を保持し、履歴を保存することです。Nexus Studioの唯一の自動接続はライセンス確認のみであり、テストデータが送信されることはありません。
Forensic verdictとは何ですか?
合格・不合格に代わる14種類の名前付き結果の1つです。それぞれが完全な合格、懸念事項付きの合格、アプリケーションの不具合、環境の問題を識別します。
エンジンホストとは何ですか?
エンジンがテストスイートを実行するマシンです。Windows PC本体、その上のDocker、またはSSH経由のLinuxサーバーが該当します。StudioはWindows上に留まります。
14の判定(verdicts)
合格・不合格の代わりに、すべての実行にこれらのいずれかが割り当てられます。判定順序はverdictsページに記載されています。
SECUREとはどういう意味ですか?
リトライやセレクターの修復を行わずに自力で合格した実行です。対応は不要です。
CHAOS_RESILIENTとはどういう意味ですか?
障害が注入されている間に合格した実行であり、アプリケーションが持ちこたえたことを示します。バグ報告とは別に分類されるため、カオスによって安定性の数値が歪むことはありません。
AUTO_RECOVERとはどういう意味ですか?
破損したセレクターが修復された後にのみ合格した実行です。テスト内のロケーターは無効なままですので、修正が必要です。
FLAKYとはどういう意味ですか?
何も修正していないにもかかわらず、失敗した後に再試行で成功した実行のことです。これは修正されたわけではなく、アプリケーションまたはテストに説明のつかない不安定さがあることを示しています。
PERFORMANCE_DEGRADEDとはどういう意味ですか?
アサーションは合格したものの、ページの読み込みが遅すぎた実行のことです(Web Vitalsや遅延読み込みのバジェットを超過)。チェックを厳格(strict)にするまでは警告扱いとなります。
A11Y_VIOLATIONとはどういう意味ですか?
アサーションは合格したものの、アクセシビリティチェックに合格しなかった実行のことです。メタデータには発火したaxe-coreの各ルールが一覧表示されます。チェックを厳格(strict)にするまでは警告扱いとなります。
SECURITY_VIOLATIONとはどういう意味ですか?
アサーションは合格したものの、CSPの欠落など、セキュリティヘッダーのチェックに合格しなかった実行のことです。チェックを厳格(strict)にするまでは警告扱いとなります。
BREACHEDとはどういう意味ですか?
アサーションが失敗し、環境やテストハーネスのパターンではそのエラーが説明できない実行のことです。「本物のバグ」または「誤検知」としてトリアージすべき実際の問題です。
BREACHED_FLAKYとはどういう意味ですか?
事前の再試行の後に最後の試行で失敗した実行のことであり、失敗そのものに一貫性がありません。バグを報告する前に各試行を比較してください。
CHAOS_BREACHED とはどういう意味ですか?
注入されたフォールトによって中断した実行です。機能バグのレポートとは区別された、耐障害性に関する検出結果です。
TIMEOUT とはどういう意味ですか?
制限時間内に応答がなかった実行です。これはアプリケーションが壊れている証拠ではありません。制限値を変更する前に、ページの表示速度を確認してください。
UNREACHABLE とはどういう意味ですか?
ホストにまったく到達できなかった実行です。ページが確認される前に、DNS または接続が失敗しました。アプリケーションに関する検出結果ではありません。
BLOCKED とはどういう意味ですか?
サイトが 403、429、ブロックページ、またはボット認証(bot challenge)によって防御を行った実行です。アプリケーションに関する検出結果ではありません。
CRASHED とはどういう意味ですか?
ブラウザまたはプロセスが異常終了した実行です。閉じたページ、DevTools プロトコルエラー、または停止した WebDriver セッションなどが該当します。アプリケーションではなく、インフラストラクチャの問題です。
APIテスト
REST および GraphQL のテストには独自の判定(verdict)があります。
API 判定(verdict)とは何ですか?
RESTおよびGraphQLテストにおける7つの結果:API_SECURE、API_FLAKY、API_DRIFTED、API_BREACHED、API_DEGRADED、API_VULNERABLE、API_BLOCKED。それぞれレスポンスに基づいて判定されます。
スキーマドリフトとは何ですか?
前回記録されたものと比較したAPIレスポンスの形式の変化です。API_DRIFTEDと表示され、厳格に設定するまでは成功としてカウントされます。
API_BLOCKEDとはどういう意味ですか?
APIの実行が429、またはCloudflareやAkamaiの署名を含む403で応答したため、リクエストが製品に到達しなかったことを意味します。
証跡と証明
実行によって残されるもの、およびその検証方法。
Evidence Lockerとは何ですか?
すべての結果がファイリングされるStudio画面です。失敗時にはフォレンジックレポート、メタデータ、RAWログ、スクリーンショットが保持され、実際のエラーの場合は動画も保持されます。
封印された保管連続性(chain of custody)とは何ですか?
証跡レコードのすべてのファイルをSHA-256でハッシュ化し、前のレコードとチェーンで繋ぐオプトイン型の台帳です。これにより、検証時に最初に変更されたレコードが特定されます。
UNVERIFIEDとはどういう意味ですか?
保管連続性台帳が存在しない状態です。証明の欠如は証明にならないため、警告なしに成功することなく、検証ではUNVERIFIEDが報告されて失敗します。
「本物のバグ」または「誤報」の判定とは何ですか?
失敗した実行に対するトリアージ判定であり、理由の入力が必須となります。この判定は証拠保全チェーン(chain of custody)に記録されます。
失敗動画とは何ですか?
実際のエラーに対して保持されるセッションの録画です。デフォルトでは BREACHED、BREACHED_FLAKY、CHAOS_BREACHED が対象で、Settings で有効にすると TIMEOUT と BLOCKED も対象になります。
Identity matrix とは何ですか?
すべてのテストと各ブラウザおよびデバイスを照合した履歴(History)ビューであり、どこで合格し、どこで不合格になったかを示します。点線は、そこで一度も実行されていないことを意味します。
Evidence budget とは何ですか?
保存されるすべてのエビデンスに対する合計サイズ制限であり、デフォルトは 20 GB で、10 GB の空きディスク容量の下限が設定されています。最も古い実行から順に削除され、各テストの最新の実行は保持されます。
Flakiness predictor とは何ですか?
独自の履歴(History)に基づいて学習された、各テストおよびブラウザごとのリスクスコアであり、その確実性の度合いを示します。実行が 1 回だけの場合は「信頼度低」と判定されます。
テストの作成と修復
テストがどのように作成され、レビューされ、維持されるかについて説明します。
Nexus Recorder とは何ですか?
AI を介さずに、実際のブラウザでのクリック操作に合わせて Playwright または Selenium のコードを生成し、固定のルールに基づいて各セレクターを評価します。
AI writerとは何ですか?
普段お使いのAIツールやローカルモデルを使用してテストを下書きします。下書きはVetを通過し、サンドボックスでリハーサルが行われます。承認するまで何も保存されません。
Vetとは何ですか?
テストのルールベースのレビューです。テストID、失敗する可能性のあるアサーション、sleep・強制クリック・モック・壊れやすいロケーターの排除など、AIを使用しない7つのチェックを行います。
Test Adapterとは何ですか?
チームが既にお持ちのPlaywrightまたはSeleniumテストをインポートし、AIではなくルールに基づいて書き換えます。アサーションが失われる可能性がある場合はインポートをブロックします。
Repair lineとは何ですか?
失敗した行のエディター余白(ガター)から実行できるアクションで、ステップを再記録するか、より強力なセレクターに置き換えます(強力な順、XPathは最後)。変更を保存すると承認されます。
確認を求める自己修復とは何ですか?
失敗後、AIを使用せずにバックグラウンドブラウザが失敗した行までテストを再生し、候補となるセレクターを準備します。選択するまでテストは失敗(赤)のままです。
ロケーター健全性とは何ですか?
現在開いているテスト内の弱〜中レベルのロケーターを、行番号と理由とともに破損する前に一覧で表示します。
サンドボックスリハーサルとは何ですか?
新しいテストは、まずエビデンスや履歴に一切書き込みを行わないサンドボックスで実行されます。3回のリハーサルを経た後、最初の本番実行の準備が整います。
テストの実行
テストがいつ、どこで実行されるか。
実行パトロールとは何ですか?
Studioの実行画面です。Chromium、Firefox、WebKit、そして実機Android端末上で、順次または最大3台同時にテストを実行し、エンジンごとに1つの判定を出します。
ウォッチとは何ですか?
選択したテストの定期的な再実行です。5分ごとから24時間ごと、または特定の日時に1回実行するように設定できます。状態が変化した時のみSlackまたはTelegramで通知します。
トンネルなしのlocalhostテストはどのように機能しますか?
エンジンがアプリケーションを起動して応答を待ち、テストを実行してから停止するため、localhostやプライベートなステージングURLをそのままテストできます。
セルフホスト型Playwrightとは何ですか?
クラウドグリッドの代わりに、ご自身が管理するマシン(PC、ミニPC、Docker、SSH経由のLinuxサーバーなど)でPlaywrightを実行し、エビデンスをご自身のディスクに保持することです。
ストレステスト、セキュリティ、レポーティング
機能テストにとどまらない各種検証と、リリースの可否判断。
Chaos Labとは何ですか?
低速ネットワーク、オフラインの遮断、CPUスロットリングなどの障害をブラウザに注入したり、登録されたDockerコンテナを一時停止、停止、強制終了、再起動したりします。
NOT_INJECTEDとはどういう意味ですか?
障害が1つも発生しなかった場合のインフラカオスの結果です。障害が適用されなかった実行は、決して回復力(レジリエンス)があるとは評価されません。
Loadとは何ですか?
エンジン内のワーカースレッドが負荷を生成し、1秒あたりのリクエスト数、p50からp99のレイテンシ、エラー率、APDEXをレポートし、PASS、OVER_BUDGET、UNMEASUREDのいずれかの判定を下します。
Smart Monkeyとは何ですか?
テスト権限を持つターゲット向けの自律型DASTスキャナーです。ご自身のマシン上のリスナーでブラインドな検出結果を確認し、SARIFをエクスポートします。
ビジュアルリグレッションとは何ですか?
承認した画像とのピクセル単位の比較です。最初の実行でベースラインが設定され、その後の実行はそれと比較されます。ベースラインはブラウザおよびプラットフォームごとに保持されます。
Executive Reportとは何ですか?
リリースを承認する担当者向けに、信頼度、カバレッジ、合格率に加え、根本原因を含む失敗要因を示した、go(進行)、caution(注意)、no-go(中止)のリリース判断です。
テストの概念
本サイトでの使用方法に基づいて定義された一般的な用語です。
Flakyテストとは何ですか?
失敗した後に再試行で合格するテストのことです。Nexus Studioはこれを暗黙の合格ではなくFLAKYとして記録するため、不安定なテストが可視化されたままになります。
偽陽性の失敗(False failure)とは何ですか?
低速なネットワーク、到達不能なホスト、ボット認証、ブラウザのクラッシュなど、アプリケーションではなく環境が原因で失敗したテストのことです。
脆弱なセレクター(Brittle selector)とは何ですか?
UIの変更時に破損するロケーターのことです。Locator healthは脆弱なセレクターが破損する前に一覧表示し、Repairラインがより強固なセレクターを提案します。
マシンごとの価格設定(Per-machine pricing)とは何ですか?
プランはアクティベートされたWindowsインストールごとの料金設定となっており、すべてのプランですべての機能をご利用いただけます。ユーザーごと、テストごと、または並列実行ごとの追加料金はありません。