Wat betekent het oordeel FLAKY in Nexus Studio?

FLAKY is het oordeel voor een test die mislukte en vervolgens bij een nieuwe poging slaagde, zonder dat er iets is hersteld. Er wordt geen Jira-ticket aangemaakt en geen video bewaard, en de afsluitcode in CI is 0, maar de test blijft zichtbaar in het rapport en in de geschiedenis als geslaagd onder voorbehoud.

Wat moet ik doen met een FLAKY-test?

Lees raw-data.json van de mislukte poging en bekijk daarna de trend in de geschiedenis. Er is iets instabiel in de applicatie of in de test, en er is niets opgelost.

Wat is het verschil tussen FLAKY en BREACHED_FLAKY?

FLAKY eindigt met een geslaagde test. BREACHED_FLAKY eindigt met een mislukking die zelf inconsistent is, dus een nieuwe poging verbergt die nooit, en er wordt wel een ticket aangemaakt.

FLAKY: Mislukt, daarna geslaagd bij een nieuwe poging; er is niets opgelost. Alle 14 oordelen, hoe ze worden bepaald.