Wat zijn de 14 oordelen in Nexus Studio?
Nexus Studio is een lokaal geïnstalleerd QA-besturingssysteem dat elke testuitvoering indeelt in een van 14 forensische oordelen in plaats van geslaagd of mislukt, zodat een echt defect wordt onderscheiden van een traag netwerk, een botcontrole of een gecrashte browser. De tabel toont voor elk oordeel wat het betekent, of er een Jira-ticket wordt aangemaakt en of de video van de mislukte test wordt bewaard.
| Oordeel | Type | Wat het betekent | Jira-ticket? | Video? |
|---|---|---|---|---|
| SECURE | Geslaagd | Zelfstandig geslaagd: geen nieuwe poging, geen herstelde selector. | No | No |
| CHAOS_RESILIENT | Geslaagd | Geslaagd terwijl een fout werd geïnjecteerd, dus de app hield stand. | No | No |
| AUTO_RECOVER | Geslaagd, met een voorbehoud | Geslaagd, maar er moest een selector worden hersteld. | No | No |
| FLAKY | Geslaagd, met een voorbehoud | Mislukt, daarna geslaagd bij een nieuwe poging; er is niets opgelost. | No | No |
| PERFORMANCE_DEGRADED | Geslaagd, met een voorbehoud | Asserties geslaagd, de pagina was te traag. | No | No |
| A11Y_VIOLATION | Geslaagd, met een voorbehoud | Asserties geslaagd, toegankelijkheidscontrole niet. | No | No |
| SECURITY_VIOLATION | Geslaagd, met een voorbehoud | Asserties geslaagd, een beveiligingscontrole niet. | No | No |
| BREACHED | Applicatie werkte niet meer | Een echte bevinding: een assertie is mislukt en niets in de omgeving verklaart dit. | Ja | Ja |
| BREACHED_FLAKY | Applicatie werkte niet meer | Mislukt, en de mislukking zelf is inconsistent. | Ja | Ja |
| CHAOS_BREACHED | Applicatie werkte niet meer | Werkte niet meer door geïnjecteerde chaos. | Ja | Ja |
| TIMEOUT | Omgeving | Gaf niet op tijd antwoord, wat niet bewijst dat er iets defect is. | Ja | Optioneel, standaard uitgeschakeld |
| UNREACHABLE | Omgeving | De host was helemaal niet bereikbaar. | No | No |
| BLOCKED | Omgeving | De site beschermde zich met een 403, een 429 of een botcontrole. | No | Optioneel, standaard uitgeschakeld |
| CRASHED | Testharnas | De browser of het proces is uitgevallen. | No | No |
Jira en Azure Boards maken één melding per test aan, en alleen wanneer de integratie is ingeschakeld. Video wordt bewaard volgens de instelling Video van mislukte tests bewaren voor: standaard BREACHED, BREACHED_FLAKY en CHAOS_BREACHED. Hoe de 14 oordelen worden bepaald, en de bestanden die elk oordeel achterlaat.