Uygulama sorunsuzken testlerim neden başarısız oluyor?
Ağ yavaşladığında, DNS başarısız olduğunda, site 403 veya 429 yanıtı verdiğinde ya da bot doğrulaması gösterdiğinde veya tarayıcı çöktüğünde uçtan uca test başarısız olur; bunların hiçbiri uygulamanızdaki bir kusur değildir. Verdict System LLC tarafından geliştirilen Nexus Studio, bu başarısızlıklara ayrı sonuçlar atar: TIMEOUT, UNREACHABLE, BLOCKED ve CRASHED. Bunların hiçbiri uygulama hatası olarak raporlanmaz.
Nexus Studio ekibi, Verdict System LLC tarafından. 7 Ekim 2026.
Bir hata yokken testi ne başarısız kılar?
Test yalnızca bir şeyin gerçekleşmediğini bildirir. Bunun nedeni, kodunuzla hiçbir ilgisi olmayan şu dört durumdan biri olabilir:
- sayfa yavaştı ve testin süresi doldu;
- örneğin ad çözümlenemediği için sunucuya ulaşılamadı;
- site 403, 429, CAPTCHA veya bot doğrulamasıyla kendini korudu, dolayısıyla istek ürününüze hiç ulaşmadı;
- tarayıcı veya işlem çöktü.
Bunların hepsi yalnızca başarısızlık olarak göründüğünde ekip bunları hata olarak kaydeder ya da başarısız sonuçları incelemek yerine testleri yeniden çalıştırmayı alışkanlık edinir. Her iki durumda da asıl kusur bu karmaşanın içinde gizlenir.
Nexus Studio, yanıltıcı bir başarısızlığı hatadan nasıl ayırır?
Bir test başarısız olduğunda motor, çalıştırmanın hata mesajını ve ağ günlüğünü okur ve bunları sabit bir sırayla örüntü gruplarıyla karşılaştırır. Eşleşen ilk grup sonucu belirler. Sıralama CONFIG_ERROR, ardından CRASHED, BLOCKED, UNREACHABLE ve TIMEOUT, ancak bunlardan sonra BREACHED_FLAKY veya BREACHED şeklindedir. Böylece hata raporu anlamına gelen BREACHED sonucu, hiçbir ortam veya test düzeneği örüntüsünün açıklayamadığı başarısızlıklar için ayrılır. Örüntüler hem Playwright hem de Selenium WebDriver ifadelerini kapsar.
TIMEOUT, UNREACHABLE, BLOCKED ve CRASHED ne anlama gelir?
- TIMEOUT: test zamanında yanıt alamadı. Bu, uygulamanın bozuk olduğunu da çalıştığını da kanıtlamaz: bu çalıştırmayla bunu belirlemek mümkün değildir. Zaman aşımına uğrayan bir sayfaya gitme işlemi TIMEOUT sayılır, çünkü işlem başlamıştır ve sayfa yavaştır.
- UNREACHABLE: sunucuya hiç ulaşılamadı. Çözümlenemeyen bir ad, reddedilen bir bağlantı veya çevrimdışı bir makine örneklerinde olduğu gibi, herhangi bir sayfa görüntülenmeden önce DNS veya bağlantı başarısız oldu. Sertifika hatası bu kapsama girmez: o bir bulgudur.
- BLOCKED: site 403, 429, engelleme sayfası veya bot doğrulamasıyla kendini korudu. Ekranda bir koruma mekanizması göründüyse metadata.json bunun adını belirtir. Uykuya geçmiş veya kilitli olan gerçek bir Android telefon da karşılanmamış bir ön koşul olarak BLOCKED sayılır.
- CRASHED: tarayıcı veya işlem çöktü; örneğin sayfa kapandı, DevTools protokol hatası oluştu veya WebDriver oturumu sonlandı. Bu bir altyapı sorunudur: makineyi ve sürücüyü kontrol edin.
Sonuçlar kılavuzu, her birinin dayandığı hata örüntülerini ayrıntılı olarak listeler.
CI işlem hattım ne görür?
14 sonucun yedisi 0 çıkış kodunu döndürür: SECURE, AUTO_RECOVER, FLAKY, CHAOS_RESILIENT, PERFORMANCE_DEGRADED, A11Y_VIOLATION ve SECURITY_VIOLATION. Diğer yedisi 1 çıkış kodunu döndürür; TIMEOUT, UNREACHABLE, BLOCKED ve CRASHED de bunların arasındadır. Dolayısıyla test geçmediği için derleme yine başarısız görünür, ancak rapor ve Geçmiş bunun nedenini belirtir. pytest ve Selenium çalıştırıcıları, çalıştırma hiç başlatılamadığında 2 çıkış kodunu döndürür.
Her yanıltıcı başarısızlık hangi kanıtları saklar?
Dördü de report.md, metadata.json, raw-data.json dosyalarını ve son karenin ekran görüntüsünü saklar. Video durumu farklıdır:
- TIMEOUT ve BLOCKED: video varsayılan olarak kapalıdır. Ayarlar bölümünde, Başarısızlık videosunu sakla seçeneği altından açın.
- UNREACHABLE: hiçbir sayfa yüklenmediği ve kayıt boş olacağı için video sunulmaz.
- CRASHED: çöken bir tarayıcının kaydı bozuk çıktığı için video sunulmaz.
Yalnızca Playwright web ve benzetimli mobil çalıştırmalar video kaydeder. Gerçek bir Android telefon, Selenium çalıştırması ve API testi video kaydetmez.
Jira etkinleştirildiğinde TIMEOUT bir iş kaydı oluşturur; engelleme, çökme ve ulaşılamayan site durumları ise hiçbir zaman oluşturmaz.
Sınırlar nelerdir?
- Sınıflandırma, hata metnini okur. Kendi yazdığınız bir mesaj
403,ForbiddenveyaAccess Deniediçeriyorsa BLOCKED olarak değerlendirilir. Özel doğrulama mesajlarını açık ve duruma özgü tutun; bir sonuç sizi şaşırttığında metadata.json dosyasını açın. - TIMEOUT, uygulamanın çalıştığının kanıtı değildir. Her çalıştırmada zaman aşımına uğrayan bir test incelenmeyi hak eder.
- Daha uzun bir zaman aşımı süresi, bozuk bir öğeyi gizlemez: yalnızca daha geç başarısız olur.
- Bu kararlar, başarısız bir çalıştırmanın nedenini belirtir. Nedeni ortadan kaldırmazlar: engellenmiş bir site, ona erişme biçiminizi değiştirene kadar engellenmiş kalır.
Nerede görebilirim?
Kanıt sayfası, başarısız bir testi adım adım izler ve her kararın diskinizde bıraktığı tüm dosyaları listeler. Kararlar kılavuzu, motorun 14 kararın tümünü hangi sırayla verdiğini açıklar. 30 günlük deneme sürümü, aynı motoru kendi testlerinizde çalıştırır.