Jakie jest 14 werdyktów w Nexus Studio?
Nexus Studio to instalowany lokalnie system operacyjny QA, który klasyfikuje każde wykonanie testu za pomocą jednego z 14 werdyktów diagnostycznych zamiast zwykłego wyniku pozytywnego lub negatywnego. Pozwala to odróżnić rzeczywisty defekt od wolnej sieci, weryfikacji antybotowej czy awarii przeglądarki. Tabela przedstawia znaczenie każdego werdyktu, a także informuje, czy powoduje on utworzenie zgłoszenia w Jira i czy zachowywane jest nagranie niepowodzenia.
| Werdykt | Typ | Co oznacza | Zgłoszenie w Jira? | Nagranie? |
|---|---|---|---|---|
| SECURE | Zaliczony | Test przeszedł samodzielnie: bez ponownej próby i bez naprawy selektora. | No | No |
| CHAOS_RESILIENT | Zaliczony | Test przeszedł mimo celowo wprowadzonej usterki, więc aplikacja wytrzymała. | No | No |
| AUTO_RECOVER | Zaliczony, z zastrzeżeniem | Test przeszedł, ale konieczna była naprawa selektora. | No | No |
| FLAKY | Zaliczony, z zastrzeżeniem | Test zakończył się niepowodzeniem, a potem przeszedł przy ponownej próbie; niczego nie naprawiono. | No | No |
| PERFORMANCE_DEGRADED | Zaliczony, z zastrzeżeniem | Asercje zostały spełnione, ale strona działała zbyt wolno. | No | No |
| A11Y_VIOLATION | Zaliczony, z zastrzeżeniem | Asercje zostały spełnione, ale wymagania dostępności nie. | No | No |
| SECURITY_VIOLATION | Zaliczony, z zastrzeżeniem | Asercje zostały spełnione, ale kontrola bezpieczeństwa zakończyła się niepowodzeniem. | No | No |
| BREACHED | Awaria aplikacji | Rzeczywisty problem: asercja nie została spełniona i nic w środowisku tego nie wyjaśnia. | Tak | Tak |
| BREACHED_FLAKY | Awaria aplikacji | Test zakończył się niepowodzeniem, a samo niepowodzenie jest niestabilne. | Tak | Tak |
| CHAOS_BREACHED | Awaria aplikacji | Awaria wskutek celowo wywołanych zakłóceń. | Tak | Tak |
| TIMEOUT | Środowisko | Nie uzyskano odpowiedzi na czas, co nie dowodzi awarii. | Tak | Opcjonalne, domyślnie wyłączone |
| UNREACHABLE | Środowisko | Nie udało się w ogóle połączyć z hostem. | No | No |
| BLOCKED | Środowisko | Witryna broniła się kodem 403, 429 lub weryfikacją antybotową. | No | Opcjonalne, domyślnie wyłączone |
| CRASHED | Mechanizm testowy | Przeglądarka lub proces uległy awarii. | No | No |
Jira i Azure Boards tworzą jedno zgłoszenie na test i tylko wtedy, gdy integracja jest włączona. Zachowywanie nagrań zależy od ustawienia Zachowuj nagrania niepowodzeń dla: domyślnie BREACHED, BREACHED_FLAKY i CHAOS_BREACHED. Jak ustalanych jest 14 werdyktów oraz jakie pliki pozostawia każdy z nich.