Nexus Studio의 14가지 판정은 무엇인가요?
Nexus Studio는 모든 실행을 단순한 통과나 실패가 아닌 14가지 증거 분석 기반 판정 중 하나로 분류하는 사내 설치형 QA 운영체제입니다. 이를 통해 실제 결함을 느린 네트워크, 봇 확인 절차 또는 브라우저 비정상 종료와 구분합니다. 표에는 각 판정의 의미, Jira 티켓 생성 여부 및 실패 동영상 보관 여부가 나와 있습니다.
| 판정 | 유형 | 의미 | Jira 티켓? | 동영상? |
|---|---|---|---|---|
| SECURE | 통과 | 재시도나 선택자 수정 없이 자체적으로 통과했습니다. | No | No |
| CHAOS_RESILIENT | 통과 | 장애가 주입된 상태에서도 통과하여 앱이 정상 동작을 유지했습니다. | No | No |
| AUTO_RECOVER | 유보 사항이 있는 통과 | 통과했지만 선택자를 수정해야 했습니다. | No | No |
| FLAKY | 유보 사항이 있는 통과 | 실패 후 재시도에서 통과했으며, 수정된 것은 없습니다. | No | No |
| PERFORMANCE_DEGRADED | 유보 사항이 있는 통과 | 검증은 통과했지만 페이지가 너무 느렸습니다. | No | No |
| A11Y_VIOLATION | 유보 사항이 있는 통과 | 검증은 통과했지만 접근성 검사는 통과하지 못했습니다. | No | No |
| SECURITY_VIOLATION | 유보 사항이 있는 통과 | 검증은 통과했지만 보안 검사는 통과하지 못했습니다. | No | No |
| BREACHED | 애플리케이션 오작동 | 실제 결함 발견: 검증에 실패했으며 환경 요인으로는 설명되지 않습니다. | 예 | 예 |
| BREACHED_FLAKY | 애플리케이션 오작동 | 실패했으며, 실패 자체가 일관되지 않습니다. | 예 | 예 |
| CHAOS_BREACHED | 애플리케이션 오작동 | 주입된 혼돈 상황에서 오작동했습니다. | 예 | 예 |
| TIMEOUT | 환경 | 제시간에 응답하지 않았지만, 이것이 오작동의 증거는 아닙니다. | 예 | 선택 사항, 기본적으로 비활성화 |
| UNREACHABLE | 환경 | 호스트에 전혀 연결할 수 없었습니다. | No | No |
| BLOCKED | 환경 | 사이트가 403, 429 또는 봇 확인 절차로 접근을 차단했습니다. | No | 선택 사항, 기본적으로 비활성화 |
| CRASHED | 테스트 실행 도구 | 브라우저 또는 프로세스가 비정상 종료되었습니다. | No | No |
Jira와 Azure Boards는 연동이 활성화된 경우에만 테스트당 하나의 이슈를 생성합니다. 동영상은 실패 동영상 보관 대상 설정에 따라 보관되며, 기본 대상은 BREACHED, BREACHED_FLAKY 및 CHAOS_BREACHED입니다. 14가지 판정의 결정 방식, 그리고 각 판정이 남기는 파일.