Quels sont les 14 verdicts dans Nexus Studio ?
Nexus Studio est un système d'exploitation QA sur site qui classe chaque exécution parmi 14 verdicts médico-légaux au lieu d'un simple succès ou échec, permettant ainsi de distinguer un véritable défaut d'un réseau lent, d'un défi anti-robot ou d'un plantage du navigateur. Le tableau indique, pour chaque verdict, sa signification, s'il ouvre un ticket Jira et si sa vidéo d'échec est conservée.
| Verdict | Type | Signification | Ticket Jira ? | Vidéo ? |
|---|---|---|---|---|
| SECURE | Réussi | Réussi de lui-même : aucune nouvelle tentative, aucun sélecteur réparé. | No | No |
| CHAOS_RESILIENT | Réussi | Réussi alors qu'une anomalie a été injectée, ce qui prouve la résistance de l'application. | No | No |
| AUTO_RECOVER | Réussi, avec réserve | Réussi, mais un sélecteur a dû être réparé. | No | No |
| FLAKY | Réussi, avec réserve | Échec, puis une nouvelle tentative a réussi ; rien n'a été corrigé. | No | No |
| PERFORMANCE_DEGRADED | Réussi, avec réserve | Les assertions ont réussi, la page était trop lente. | No | No |
| A11Y_VIOLATION | Réussi, avec réserve | Les assertions ont réussi, l'accessibilité a échoué. | No | No |
| SECURITY_VIOLATION | Réussi, avec réserve | Les assertions ont réussi, un contrôle de sécurité a échoué. | No | No |
| BREACHED | L'application s'est interrompue | Une anomalie avérée : une assertion a échoué et rien dans l'environnement ne l'explique. | Oui | Oui |
| BREACHED_FLAKY | L'application s'est interrompue | Échec, et l'échec lui-même est incohérent. | Oui | Oui |
| CHAOS_BREACHED | L'application s'est interrompue | A cédé sous le chaos injecté. | Oui | Oui |
| TIMEOUT | Environnement | N'a jamais répondu à temps, ce qui ne constitue pas la preuve d'un dysfonctionnement. | Oui | Optionnel, désactivé par défaut |
| UNREACHABLE | Environnement | L'hôte n'a pas pu être joint du tout. | No | No |
| BLOCKED | Environnement | Le site s'est défendu avec une erreur 403, 429 ou un défi anti-bot. | No | Optionnel, désactivé par défaut |
| CRASHED | Harnais | Le navigateur ou le processus s'est arrêté de manière inattendue. | No | No |
Jira et Azure Boards ouvrent un ticket par test, et uniquement lorsque l'intégration est activée. La vidéo respecte le paramètre Conserver la vidéo en cas d'échec pour : BREACHED, BREACHED_FLAKY et CHAOS_BREACHED par défaut. Comment les 14 verdicts sont décidés, et les fichiers que chacun génère.