Ihre Tests bleiben Playwright, Selenium und pytest. Wir ersetzen sie nicht. Wir machen sie einsatzbereit für Unternehmen, und Sie behalten die volle Kontrolle: Code, Nachweise und Verlauf.
Ein fehlgeschlagener Test. Alles, was er auf Ihrer Festplatte hinterlassen hat.
Ein echter Durchlauf, kein Mockup: TC92 am 2026-09-30, headless, in Chromium, Firefox und WebKit. Er öffnet example.com, folgt Learn more zu IANA und erwartet, dass die Überschrift Example Domain lautet. Die Seite zeigt Example Domains. Dies sind die Dateien des Chromium-Durchlaufs, ihre tatsächlichen Größen und der jeweilige Inhalt.
im Ordner des Durchlaufs, plus ein Eintrag in der Historie
531.2 kB
der gesamte Ordner, einschließlich des Videos
32 Felder
in metadata.json, für Maschinen
9 Abschnitte
in report.md, dem forensischen Bericht
Was ein einziger Fehler hinterlässt
Was bewahrt der Evidence Locker auf, wenn ein Test fehlschlägt?
Ein fehlgeschlagener Test legt einen Ordner mit seinem forensischen Bericht, seinen Metadaten, dem unformatierten Protokoll und einem Screenshot des Frames ab, in dem er fehlgeschlagen ist, zuzüglich des Videos für einen echten Fehlschlag. Zeile 23 von TC92_Iana_heading.js erwartet als Überschrift Example Domain. Die Seite der IANA zeigt Example Domains: In 10000 ms löste der Locator 23 Mal auf und las jedes Mal den Plural. BREACHED, auf allen drei Engines. Hier ist der Frame, bei dem der Fehler aufgetreten ist, und jede Datei, die geschrieben wurde.
https://www.iana.org/help/example-domains
screenshot.png · 89,8 kB · ein Viewport-Screenshot des letzten Frames, 1280×720: was ein Benutzer gesehen hätte, als die Prüfung lief
Im Evidence Locker öffnet sich derselbe Datensatz auf fünf Tabs:
ReportMetadataTelemetryRaw LogAI Analysis
report.md5.3 kB
Der forensische Bericht in Markdown: Er lässt sich ohne das Studio lesen.
Incident summary
Root cause analysis
Network telemetry
Failure timeline
Historical stability
Self-healing log
Evidence artifacts
Performance budget
Lazy-loading audit
Nutzen Sie es, um ein Ticket zu erstellen: Die Vorfallszusammenfassung nennt den Test, den Browser, die Seite und die geschäftlichen Auswirkungen, und die Ursachenanalyse nennt die fehlgeschlagene Prüfung, den Selektor, die erwarteten und erhaltenen Werte sowie die Quellcodezeile.
metadata.json2.2 kB
32 Felder, maschinenlesbar. Einige davon, wie angegeben:
Nutzen Sie es, um Fehler mit einem Skript statt mit einem Markdown-Parser zu filtern. Es ist auch die Datei, die die lückenlose Nachweiskette versiegelt: Ein Ordner mit einer metadata.json ist ein Datensatz.
raw-data.json5.1 kB
Das Rohprotokoll: jede Konsolenzeile, jeder Netzwerkfehler, jedes Sicherheitsproblem und jeder Seitenfehler des Durchlaufs sowie die Performance-Stichproben.
Nutzen Sie es, um zu sehen, was die Seite rund um den Fehler getan hat. Ein FLAKY- oder AUTO_RECOVER-Durchlauf behält die raw-data.json des fehlgeschlagenen Versuchs, sodass ein erneuter Versuch, der den Fehler verdeckt hat, dennoch sein Protokoll hinterlässt.
Telemetrygemessen
Am Ende des Tests gemessen, anhand Ihrer Budgets. Der Balken zeigt die Messung im Verhältnis zum Budget.
LCP992 / 2500 ms
FCP992 / 1800 ms
CLS0.0295 / 0.1
TTFB727 / 800 ms
TBT0 / 200 ms
DOM114 / 1500 nodes
Heap5 / 50 MB
INPnot measured
Alles innerhalb des Budgets, und der Bericht kennzeichnet TTFB als nahe daran. INP zeigt not measured an, niemals ein Bestehen: Auf der gemessenen Seite wurde weder geklickt noch getippt. Das Lazy-Loading-Audit bewertete die Seite mit 85 von 100, Note B: ein Bild ohne Breite und Höhe.
Nutzen Sie es, um eine langsame Seite von einer falschen Assertion zu unterscheiden.
video.webm428.8 kB
0:08 von 0:16
Die gesamte Sitzung, 16,6 Sekunden: example.com, der Klick auf „Learn more“, dann die Seite der IANA, während der Check wiederholt wurde. Beibehalten, da der Durchlauf BREACHED war, und im Evidence Locker abspielbar. Ein echter Fehler behält sein Video: standardmäßig BREACHED, BREACHED_FLAKY und CHAOS_BREACHED; TIMEOUT und BLOCKED, wenn Sie diese in den Einstellungen aktivieren. CRASHED und UNREACHABLE werden nie angeboten, da diese Aufnahme fehlerhaft oder leer ist. Nur Playwright-Web- und emulierte mobile Durchläufe zeichnen auf: ein echtes Android-Telefon, ein Selenium-Durchlauf und ein API-Test tun dies nicht.
Nutzen Sie es, um Schritt für Schritt zu sehen, wie die Seite zur fehlgeschlagenen Prüfung gelangt ist; der Screenshot oben ist der letzte Frame.
KI-AnalyseIhre KI
Standardmäßig aktiviert, wenn Ihre KI verbunden ist. Mit einem lokalen Ollama-Modell – dem Standard – oder einem anderen Anbieter Ihrer Wahl fügt die Engine dem Bericht vier Überschriften hinzu: Diagnose, Wahrscheinliche Ursache, Auswirkung und Empfohlene Maßnahme. Wenn Ihr eigenes KI-Befehlszeilentool im KI-Writer aktiviert ist, liest es stattdessen report.md nach dem Durchlauf für bis zu fünf Fehler pro Durchlauf und fügt eine fünfte Überschrift hinzu:
Diagnosis
Klassifizierung (nur Befehlszeilentool)
Probable cause
Impact
Recommended action
Die Klassifizierung ist genau eine der folgenden: APP_BUG, APP_CHANGE, TEST_AUTHORSHIP, TEST_SETUP oder INFRA_FLAKY. Keine KI verbunden: keine Analyse und die fünf Dateien bleiben unverändert.
trace.zip ist eine sechste Datei. Wenn „Forensischen Trace bei Fehler aufzeichnen“ aktiviert ist (was die Standardeinstellung ist), legt ein BREACHED-Ordner auch einen Playwright-Trace ab (DOM-Snapshots, Screenshots und Quellen), der mit npx playwright show-trace trace.zip geöffnet werden kann. Er wird nicht auf einem echten Android-Smartphone aufgezeichnet. TC92 lief, bevor das Tracing zum Standard wurde, daher enthält sein Ordner die fünf oben genannten Dateien.
Was bei einem Fehlschlag abgelegt wird
TC91 auf chromium, 2026-09-30 13:26 TIMEOUT
Der tatsächliche Ordner des Durchlaufs, der in der Demo oben auf der Startseite wiedergegeben wird – ein Test, der gezielt gegen den alten Linktext von example.com inszeniert wurde, so wie der Evidence Locker ihn öffnet: bug-reports/chromium/TC91 - Example more info/2026-09-30_13-26 [TIMEOUT].
https://example.com/
screenshot.png · 12,6 kB · der exakte Frame im Moment des Fehlers
metadata.json2.3 kB32 Felder, darunter der Selektor, das 30000ms-Timeout, Stabilität CRITICAL, aufeinanderfolgende Fehler, Versuch 2 von 2, Stealth und der Lazy-Loading-Score (100, A).
Telemetryim BerichtLCP 156 ms · FCP 156 ms · CLS 0,0018 · TTFB 122 ms · TBT 0 ms · 808 DOM-Knoten · 2 MB Heap. INP nicht gemessen: nichts zu messen.
video.webmechte FehlerAufgezeichnet für einen echten Fehler. Ein TIMEOUT wie dieses behält keine, da TIMEOUT standardmäßig deaktiviert ist, und der Bericht weist darauf hin.
KI-AnalyseIhre KIWenn Ihre KI angebunden ist, fügt sie dem Bericht eine Diagnose, die wahrscheinliche Ursache, die Auswirkungen und eine Handlungsempfehlung hinzu; über Ihr eigenes KI-Kommandozeilenwerkzeug klassifiziert sie zudem den Fehler.
Verdicts
Was sind die 14 Verdicts, und was tun Sie als Nächstes?
Jedes der 14 Verdicts benennt, wer an der Reihe ist: niemand, der Test, die Anwendung, die Umgebung oder das Harness. Das Verdict steht im Namen des Ordners: Der von TC92 endet auf [BREACHED]. Der Klassifikator liest einen Fehler in einer festen Reihenfolge: zuerst das Harness, dann ein Absturz, eine Blockierung, ein nicht erreichbarer Host und ein Timeout, und erst dann BREACHED_FLAKY oder BREACHED. Ein BREACHED ist also ein Fehler, den kein Umgebungsmuster erklärt. Jede Karte zeigt, wer an der Reihe ist und was dieses Verdict ablegt.
SECURENiemand
Von selbst bestanden: kein erneuter Versuch, kein reparierter Selektor. Nichts zu tun. Abgelegt in evidence-passed-test, die neuesten 5 pro Test und Browser.
screenshot.pngmetadata.json
CHAOS_RESILIENTNiemand
Bestanden, während ein Fehler injiziert wurde – die App hielt also stand. Abgelegt in chaos-runs, getrennt von den Fehlerberichten, sodass Chaos-Tests die Stabilitätszahlen niemals verfälschen.
Grün, aber nicht ohne Hilfe: Der Self-Healer hat einen defekten Selektor ausgetauscht. Der Locator im Test ist tot, und die nächste DOM-Änderung lässt die Testsuite endgültig fehlschlagen. Korrigieren Sie den Locator. raw-data.json erscheint, wenn ein erneuter Versuch erforderlich war, und stammt aus dem fehlgeschlagenen Versuch.
screenshot.pngmetadata.jsonraw-data.json
FLAKYTest oder App
Fehlgeschlagen, dann durch eine Wiederholung bestanden, und nichts wurde repariert. Das ist eine unerklärte Instabilität in der App oder im Test, keine Fehlerbehebung. Lesen Sie die raw-data.json des fehlgeschlagenen Versuchs und anschließend den Verlaufstrend.
screenshot.pngmetadata.jsonraw-data.json
PERFORMANCE_DEGRADEDApp
Assertions bestanden und die Seite war zu langsam: Ein Web Vitals- oder Lazy-Loading-Budget wurde überschritten. Hinweisfunktion, bis Sie die Prüfung strikt einstellen.
screenshot.pngmetadata.json
A11Y_VIOLATIONApp
Assertions bestanden, Barrierefreiheit nicht. metadata.json listet jede ausgelöste axe-core-Regel mit ihrer Auswirkung und Knotenanzahl auf. Hinweisfunktion, bis Sie die Prüfung strikt einstellen.
screenshot.pngmetadata.json
SECURITY_VIOLATIONApp
Assertions bestanden, die Sicherheits-Header nicht (beispielsweise eine fehlende CSP). Korrigieren Sie die Response-Header. Hinweisfunktion, bis Sie die Prüfung strikt einstellen.
screenshot.pngmetadata.json
BREACHEDApp
Eine Assertion ist fehlgeschlagen und kein Umgebungs- oder Test-Harness-Muster erklärt den Fehler. Lesen Sie Expected und Received in report.md, sehen Sie sich das Video an und markieren Sie es dann mit einer Begründung als Echter Bug oder Fehlalarm.
Beim letzten Versuch nach einer früheren Wiederholung fehlgeschlagen: Der Fehler selbst ist inkonsistent. Vergleichen Sie die Versuche, bevor Sie einen Bug melden. Das zugehörige Video wird standardmäßig aufbewahrt.
Unter einem injizierten Fehler zusammengebrochen. Ein Resilienz-Befund, der getrennt von den funktionalen Fehlerberichten aufbewahrt wird; der Bericht erfasst den angewendeten Fehler und die Auswirkung auf den Benutzer. Die Aufbewahrung entfernt niemals einen Durchlauf, der zusammengebrochen ist. Das zugehörige Video wird standardmäßig aufbewahrt.
Hat nie rechtzeitig geantwortet, was kein Beweis dafür ist, dass die App defekt ist. Prüfen Sie in Telemetrie, wie schnell die Seite war, bevor Sie Einstellungen ändern: Ein längeres Limit verbirgt kein fehlerhaftes Element, es schlägt lediglich später fehl. Das zugehörige Video ist standardmäßig deaktiviert; aktivieren Sie es in den Einstellungen unter Fehlervideo aufbewahren für.
Der Host konnte überhaupt nicht erreicht werden: DNS oder die Verbindung schlug fehl, bevor eine Seite erfasst werden konnte. Überprüfen Sie die URL, das Netzwerk und die Verfügbarkeit des Ziels. Kein Befund über die App. Es wurde keine Seite geladen, daher wäre das Video leer und es wird keines bereitgestellt.
Die Website hat sich verteidigt: ein 403, ein 429, eine Blockierungsseite oder eine Bot-Challenge. metadata.json benennt die Abwehrmaßnahme, wenn eine auf dem Bildschirm zu sehen war. Kein Befund über die App, und Jira meldet niemals eine Blockierung. Das zugehörige Video ist standardmäßig deaktiviert; aktivieren Sie es in den Einstellungen unter Fehlervideo aufbewahren für.
Der Browser oder der Prozess ist abgestürzt: eine geschlossene Seite, ein DevTools-Protokollfehler, eine tote WebDriver-Sitzung. Infrastruktur, nicht die App. Überprüfen Sie den Rechner und den Treiber. Die Aufzeichnung eines abgestürzten Browsers ist fehlerhaft, daher wird keine bereitgestellt.
Nicht unter den 14: CONFIG_ERROR (das Harness konnte den Test nicht starten: ein fehlerhafter Import, ein fehlender .env-Wert), SKIPPED und INTERRUPTED. Keines davon ist ein Ergebnis über Ihre App, daher wird für keines ein Nachweisordner oder eine Verlaufszeile angelegt. Ein CONFIG_ERROR wird dennoch vollständig mit einem Hinweis in ein Protokoll unter .run-cache/config-errors/ geschrieben, damit der fehlerhafte Test behoben wird. API-Tests haben sieben eigene Verdicts: API-Tests.
History
Was zeichnet History für jeden Durchlauf auf?
Neben dem Ordner fügt jede Ausführung eine Zeile an history/<browser>/<test>/runs.json an: standardmäßig die letzten 50 Ausführungen jedes Tests in jedem Browser. Dies sind die drei Zeilen von TC92, eine pro Browser, so wie sie geschrieben wurden. Die gleiche error_signature in allen drei Zeilen zeigt, dass es sich um einen einzigen Fehler handelt, nicht um drei.
Ein Wert, den der Browser nicht messen kann, wird als null geschrieben, niemals als null: WebKit meldet hier keinen TTFB. Zeilenzeiten sind UTC, so wie die Zeile sie schreibt; Ordnernamen verwenden die lokale Zeit des Rechners, UTC−5 auf diesem.
perf enthält LCP, FCP, CLS, TTFB, TBT, INP, Long Tasks, DOM-Größe, Heap, jede besuchte Seite und den Lazy-Loading-Score. raw_log_ref und evidence_ref verweisen zurück auf den oben genannten Ordner.
Was die Engine daraus ausgibt
TC92 chromium BREACHED 13.7s
expect(locator).toHaveText(expected) failed
at TC92_Iana_heading.js:23 waiting for getByRole('heading', { level: 1 })
stability CRITICAL 0% · 0/1 runs · 1 failed in a row
# TC91, die inszenierte Demo auf der Startseite: ein BREACHED, dann ein TIMEOUT
stability CRITICAL 0% · 0/2 runs · 2 failed in a row
Die duration_ms der Zeile, 12291, ist der Test selbst, so wie Playwright ihn gemessen hat, beim zweiten seiner zwei Versuche.
Dieselben Zeilen speisen den Abschnitt „Historical stability“ des Berichts, die Trends des History-Bildschirms (Regressed, Recovered, Still broken, Slower) und das Risikoranking, in dem unter fünf Läufen nichts als flaky gilt.
Wie viele Nachweise behält Nexus Studio und für wie lange?
Ein erfolgreicher Test behält einen Screenshot und seine Metadaten, ein Fehlschlag behält alles, was zur Reproduktion erforderlich ist, und die ältesten Dateien weichen zuerst. Eine Suite, die jede Nacht läuft, füllt eine Festplatte. Die Engine begrenzt jeden Ordner, den sie schreibt, pro Test und Browser, und hält alle Nachweise zusammen unter einem Budget, standardmäßig 20 GB, während die Festplatte 10 GB frei hält, sodass die Festplatte bei einer von Ihnen gewählten Größe aufhört zu wachsen. Ein Fehlschlag behält dennoch alles, was zur Reproduktion nötig ist: den Fehler mit seinem Selektor und seinen Werten, die Seiten-URL, den Frame, die Konsole, Netzwerk- und Seitenfehlerzeilen, die Laufzeit und Plattform sowie den Kontext des Durchlaufs – woran er gemessen wurde. Die Obergrenzen und das Budget werden in den Einstellungen unter Evidence & Retention festgelegt.
Dieselben Dateien ohne die Aufzeichnung, da TIMEOUT standardmäßig für Video deaktiviert ist: 23,9 kB für TC91's TIMEOUT, die inszenierte Demo auf der Startseite.
Bestanden
screenshot.pngmetadata.json
Getrennt von den Fehlerberichten abgelegt, die jeweils 5 neuesten pro Test und Browser. Der Screenshot ist das, was der visuelle Regressionsabgleich vergleicht. Ein FLAKY- oder AUTO_RECOVER-Durchlauf behält ebenfalls seinen Ordner mit der raw-data.json des fehlgeschlagenen Versuchs, solange „Keep evidence of a FLAKY / AUTO_RECOVER pass“ aktiviert ist.
Diese drei Zeilen folgten auf den Durchlauf von TC92. Die temporären Telemetriedateien des Durchlaufs sind niemals Beweismittel: Sie kommen in ein Zip-Archiv, die losen Kopien werden gelöscht und maximal 2 Zip-Archive von bis zu 7 Tagen verbleiben, innerhalb von 500 MB. Diese drei Limits sind NEXUS_CACHE_ZIPS, NEXUS_CACHE_RETENTION_DAYS und NEXUS_CACHE_MAX_MB in .env, keine Felder in den Einstellungen.
Unter Einstellungen löscht Cache leeren die Ordner test-results und playwright-report des Arbeitsbereichs und schließt alle Browser, die ein abgestürzter oder beendeter Durchlauf hinterlassen hat. Die Funktion wird verweigert, solange eine Patrouille läuft.
Arbeitsbereich · Festplatte · das Limit, das jeder Ordner heute hat
area limit today
Bug reports newest 20 runs per test and browser
Passed tests newest 5 runs per test and browser
API evidence newest 20 passing runs per test; failures kept
Chaos runs newest 20 held runs; runs that broke kept
Smart Monkey newest 10 sessions
Visual regressions newest 10 per test and checkpoint
Run context newest 100 runs
Run history newest 50 runs per test and browser
Chain of custody append-only, never trimmed
Archive no automatic limit
Das Festplatten-Panel listet jeden Ordner auf, in den ein Durchlauf schreibt, beginnend mit dem größten, zusammen mit seiner Größe, Dateianzahl und dem ältesten Datum sowie dem Gesamt- und dem freien Speicherplatz auf dem Laufwerk. Ein Ordner ohne automatisches Limit wird markiert. „Bereinigen“ wird nur dort angeboten, wo es sicher ist: der Durchlauf-Cache, Testdateiversionen älter als 14 Tage und Executive-Berichte älter als 30 Tage. Beweismittel oder das Archiv werden niemals angetastet.
Zusätzlich zu den Obergrenzen teilen sich alle Nachweise ein gemeinsames Budget, standardmäßig 20 GB, und die Festplatte hält 10 GB frei. Nach jedem Durchlauf prüft die Engine beides und entfernt bei Überschreitung eines der Werte die ältesten Durchläufe – erfolgreiche vor fehlgeschlagenen –, bis beide Vorgaben eingehalten werden; der neueste Durchlauf jedes Tests und Browsers bleibt immer erhalten. Das Panel zeigt die Nachweise im Verhältnis zum Budget, den freien Speicherplatz im Verhältnis zum Mindestwert und was der letzte Durchlauf freigegeben hat, inklusive Run maintenance now.
Evidence Locker · Behalten, worauf es ankommt, den Rest freigeben
Archivieren… kopiert genau die Teile, die Sie anhaken (Screenshot und Bericht sind anfangs angehakt), nach Ansicht → Archiv. Die Kopie liegt neben dem Beweismittelordner, nicht darin, sodass kein Aufbewahrungsbereinigungslauf sie erreicht und der Durchlauf im Locker unberührt bleibt.
Wiederherstellen auf dem Archiv-Bildschirm versetzt einen Datensatz wieder dorthin zurück, wo er war, und zurück in die Zählung. Falls sein Ordner freigegeben wurde, werden die archivierten Teile wieder in den Evidence Locker geschrieben. Ein „Falscher Alarm“-Urteil schließt ihn weiterhin von der Zählung aus.
Speicher freigeben verschiebt einen Ordner in den Papierkorb. Sofern der Datensatz versiegelt ist, schreibt die Engine zuerst die Verfügung, sodass nexus verify PURGED meldet und nicht TAMPERED. Die Aufbewahrungsrichtlinie verfährt genauso, wenn sie den ältesten Ordner entfernt, und das Protokoll belegt weiterhin den Hash-Wert des Ordners sowie wer ihn wann entfernt hat. Die Versiegelung ist optional: Bis zum ersten Urteil „Echter Bug“ oder „Falscher Alarm“ oder nexus verify --seal zeigt der Locker UNVERIFIED an.
Sehen Sie, was Ihre eigenen Fehler hinterlassen.
30 Tage lang kostenlos, mit allen Funktionen, auf Ihren eigenen Maschinen. Keine Kreditkarte erforderlich.
Nexus Studio
