Nexus StudioKażdy termin Nexus Studio, zdefiniowany raz.
Nexus Studio to lokalny system operacyjny jakości dla Playwright, Selenium i pytest: ocenia testy 14 werdyktami i przechowuje dowody każdej awarii.
Każde hasło poniżej to jedna dosłowna definicja z odnośnikiem do strony, na której dany termin występuje. Jeśli strona i ten słownik się różnią, strona ma rację. Ostatnia aktualizacja: .
Produkt
Czym jest Nexus Studio i gdzie działa.
Czym jest Nexus Studio?
Nexus Studio to lokalny system operacyjny jakości dla Playwright, Selenium i pytest: ocenia testy 14 werdyktami i przechowuje dowody każdej awarii.
Czym jest QA we własnej infrastrukturze?
Uruchamianie testów, przechowywanie dowodów i zapisywanie historii na maszynach, które kontrolujesz. Jedyne automatyczne połączenie Nexus Studio służy do sprawdzania licencji i nie przesyła żadnych danych testowych.
Czym jest werdykt analizy śledczej?
Jeden z 14 nazwanych wyników zastępujących ocenę pozytywną lub negatywną. Pozwalają one odróżnić wynik pozytywny bez zastrzeżeń, wynik pozytywny z zastrzeżeniem, awarię aplikacji i problem ze środowiskiem.
Czym jest host silnika?
Maszyna, na której silnik uruchamia Twoje zestawy testów: sam komputer z Windows, działający na nim Docker lub serwer z Linux dostępny przez SSH. Studio pozostaje w systemie Windows.
14 werdyktów
Każdy przebieg testów otrzymuje jeden z nich zamiast oceny pozytywnej lub negatywnej. Kolejność podejmowania decyzji jest opisana na stronie werdyktów.
Co oznacza SECURE?
Przebieg testów zakończony powodzeniem bez ponawiania i bez naprawiania selektora. Nie trzeba nic robić.
Co oznacza CHAOS_RESILIENT?
Wykonanie testu zakończone powodzeniem mimo wprowadzenia usterki, czyli aplikacja wytrzymała. Jest rejestrowane oddzielnie od zgłoszeń błędów, aby testy chaosu nigdy nie zniekształcały wskaźników stabilności.
Co oznacza AUTO_RECOVER?
Wykonanie testu zakończone powodzeniem dopiero po naprawieniu niedziałającego selektora. Lokalizator w teście nadal nie działa, więc wymaga naprawy.
Co oznacza FLAKY?
Wykonanie testu, które zakończyło się niepowodzeniem, a następnie powodzeniem przy ponowieniu, bez żadnych napraw. Wskazuje na niewyjaśnioną niestabilność aplikacji lub testu, a nie na naprawę.
Co oznacza PERFORMANCE_DEGRADED?
Wykonanie testu, w którym asercje zostały spełnione, ale strona działała zbyt wolno: przekroczono limit Web Vitals lub opóźnionego ładowania. Ma charakter informacyjny, dopóki nie włączysz rygorystycznego trybu kontroli.
Co oznacza A11Y_VIOLATION?
Wykonanie testu, w którym asercje zostały spełnione, ale kontrola dostępności zakończyła się niepowodzeniem. Metadane zawierają listę wszystkich naruszonych reguł axe-core. Ma charakter informacyjny, dopóki nie włączysz rygorystycznego trybu kontroli.
Co oznacza SECURITY_VIOLATION?
Wykonanie testu, w którym asercje zostały spełnione, ale nagłówki zabezpieczeń nie spełniały wymagań, na przykład brakowało CSP. Ma charakter informacyjny, dopóki nie włączysz rygorystycznego trybu kontroli.
Co oznacza BREACHED?
Wykonanie testu, w którym asercja nie została spełniona, a błędu nie wyjaśnia żaden znany wzorzec związany ze środowiskiem ani mechanizmem testowym. To rzeczywiste wykrycie wymagające sklasyfikowania jako Rzeczywisty błąd lub Fałszywy alarm.
Co oznacza BREACHED_FLAKY?
Wykonanie testu zakończone niepowodzeniem w ostatniej próbie po wcześniejszym ponowieniu, co oznacza, że samo niepowodzenie jest nieregularne. Porównaj próby przed zgłoszeniem błędu.
Co oznacza CHAOS_BREACHED?
Wykonanie testu zakończone niepowodzeniem wskutek wprowadzonej usterki. To wykrycie dotyczące odporności, rejestrowane oddzielnie od zgłoszeń błędów funkcjonalnych.
Co oznacza TIMEOUT?
Wykonanie testu, które nie zwróciło odpowiedzi na czas. To nie dowód na nieprawidłowe działanie aplikacji: sprawdź szybkość strony, zanim zmienisz jakikolwiek limit.
Co oznacza UNREACHABLE?
Wykonanie testu, w którym nie udało się w ogóle dotrzeć do hosta: wystąpił błąd DNS lub połączenia, zanim zaobserwowano jakąkolwiek stronę. To nie jest wykrycie dotyczące aplikacji.
Dlaczego testy kończą się niepowodzeniem, gdy aplikacja działa prawidłowo
Co oznacza BLOCKED?
Wykonanie testu, w którym witryna zareagowała obronnie kodem 403, kodem 429, stroną blokady lub weryfikacją antybotową. To nie jest wykrycie dotyczące aplikacji.
Co oznacza CRASHED?
Wykonanie testu, w którym przeglądarka lub proces przestały działać: zamknięta strona, błąd protokołu DevTools lub nieaktywna sesja WebDriver. Dotyczy infrastruktury, a nie aplikacji.
Dlaczego testy kończą się niepowodzeniem, gdy aplikacja działa prawidłowo
Testy API
Testy REST i GraphQL mają własne statusy wyników.
Czym są statusy wyników API?
Siedem wyników testów REST i GraphQL: API_SECURE, API_FLAKY, API_DRIFTED, API_BREACHED, API_DEGRADED, API_VULNERABLE i API_BLOCKED. Każdy jest oceniany na podstawie odpowiedzi.
Czym jest zmiana schematu?
Zmiana struktury odpowiedzi API względem ostatniej zapisanej odpowiedzi. Otrzymuje status API_DRIFTED i jest uznawana za powodzenie, dopóki nie włączysz trybu rygorystycznego.
Co oznacza API_BLOCKED?
Wywołanie API zakończyło się odpowiedzią 429 lub 403 z sygnaturą Cloudflare albo Akamai, więc żądanie nigdy nie dotarło do Twojego produktu.
Materiały dowodowe i weryfikacja
Co pozostaje po uruchomieniu i jak można to sprawdzić.
Czym jest Evidence Locker?
Ekran Studio, na którym zapisywany jest każdy wynik. W przypadku niepowodzenia zachowywane są raport diagnostyczny, metadane, surowy dziennik i zrzut ekranu, a przy rzeczywistym błędzie także nagranie wideo.
Czym jest zabezpieczony łańcuch dowodowy?
Opcjonalny rejestr, który oblicza skrót SHA-256 każdego pliku we wpisie dowodowym i łączy wpis z poprzednim, dzięki czemu weryfikacja wskazuje pierwszy zmieniony wpis.
Co oznacza UNVERIFIED?
Stan, w którym nie istnieje rejestr łańcucha dowodowego. Weryfikacja zgłasza UNVERIFIED i kończy się niepowodzeniem, nigdy po cichu nie zwraca OK, bo brak dowodu nie jest dowodem.
Czym jest rozstrzygnięcie Rzeczywisty błąd lub Fałszywy alarm?
Decyzja klasyfikująca nieudane uruchomienie, wymagająca uzasadnienia. Rozstrzygnięcie zostaje dołączone do łańcucha dowodowego.
Czym jest nagranie błędu?
Nagranie sesji zachowywane w przypadku rzeczywistego błędu: domyślnie dla stanów BREACHED, BREACHED_FLAKY i CHAOS_BREACHED, a także TIMEOUT i BLOCKED po włączeniu ich w Ustawieniach.
Czym jest macierz tożsamości?
Widok Historii obejmujący każdy test w każdej przeglądarce i na każdym urządzeniu, pokazujący, gdzie test przechodzi, a gdzie nie. Kropki oznaczają, że nigdy go tam nie uruchomiono.
Czym jest limit materiałów dowodowych?
Jeden łączny limit rozmiaru wszystkich przechowywanych materiałów dowodowych, domyślnie 20 GB, z zachowaniem co najmniej 10 GB wolnego miejsca na dysku. Najstarsze uruchomienia są usuwane jako pierwsze; najnowsze uruchomienie każdego testu pozostaje.
Czym jest prognozowanie niestabilności?
Ocena ryzyka dla każdego testu i przeglądarki, wyuczona na podstawie Twojej Historii, ze wskazaniem poziomu pewności. Przy pojedynczym uruchomieniu poziom pewności jest niski.
Tworzenie i naprawianie testów
Jak test jest pisany, sprawdzany i utrzymywany.
Czym jest Nexus Recorder?
Pisze kod Playwright lub Selenium podczas klikania w prawdziwej przeglądarce, bez udziału AI, i ocenia każdy selektor według stałych reguł.
Czym jest generator testów AI?
Tworzy wersje robocze testów za pomocą narzędzia AI, którego już używasz, lub modelu lokalnego. Wersja robocza przechodzi kontrolę Vet i próbne uruchomienie w środowisku izolowanym; nic nie jest zapisywane, dopóki jej nie zaakceptujesz.
Czym jest Vet?
Przegląd testu oparty na regułach: siedem kontroli bez użycia AI, w tym sprawdzenie identyfikatora testu, asercji, które mogą zakończyć się niepowodzeniem, oraz braku sztywnych opóźnień, wymuszonych kliknięć, atrap i kruchych lokalizatorów.
Czym jest Test Adapter?
Importuje istniejące testy Playwright lub Selenium Twojego zespołu, przepisując je według reguł zamiast za pomocą AI, i blokuje import, jeśli miałoby dojść do utraty asercji.
Czym jest naprawa wiersza?
Działanie na marginesie edytora przy wierszu z błędem, które ponownie nagrywa krok lub zastępuje selektor bardziej niezawodnym, zaczynając od najpewniejszych, a kończąc na XPath. Zapisanie zmiany oznacza jej zatwierdzenie.
Czym jest samonaprawa, która najpierw pyta o zgodę?
Po niepowodzeniu przeglądarka działająca w tle odtwarza test do wiersza z błędem i przygotowuje propozycje selektorów, bez użycia AI. Test pozostaje czerwony, dopóki nie dokonasz wyboru.
Czym jest ocena kondycji lokalizatorów?
Lista słabych i średnich lokalizatorów w otwartym teście, wraz z numerem wiersza i przyczyną, wyświetlana, zanim przestaną działać.
Czym jest próba w środowisku izolowanym?
Nowy test najpierw uruchamia się w środowisku izolowanym, które nie zapisuje niczego w materiałach dowodowych ani w historii. Po trzech próbach jest gotowy do pierwszego właściwego uruchomienia.
Uruchamianie testów
Gdzie i kiedy uruchamiane są testy.
Czym jest Run patrol?
Ekran uruchamiania testów w Studio. Uruchamia testy w Chromium, Firefox, WebKit oraz na fizycznych telefonach z Androidem, kolejno lub maksymalnie trzy jednocześnie, z osobnym wynikiem dla każdego silnika.
Czym jest monitorowanie?
Zaplanowane ponowne uruchomienia wybranych testów, w odstępach od 5 minut do 24 godzin lub jednorazowo w określonym terminie. Powiadomienia w Slack lub Telegram są wysyłane tylko przy zmianie stanu.
Jak działa testowanie na localhost bez tunelu?
Silnik uruchamia aplikację, czeka na jej odpowiedź, wykonuje testy i ją zatrzymuje, dzięki czemu adres localhost lub prywatnego środowiska przedprodukcyjnego jest testowany bez zmian.
Czym jest Playwright we własnej infrastrukturze?
Uruchamianie Playwright na maszynach pod Twoją kontrolą zamiast w chmurze: na Twoim komputerze, minikomputerze, w Dockerze lub na serwerze z systemem Linux przez SSH, z materiałami dowodowymi przechowywanymi na Twoich dyskach.
Obciążenie, bezpieczeństwo i raportowanie
Kontrole wykraczające poza test funkcjonalny i decyzja o wydaniu.
Czym jest Chaos Lab?
Wprowadza zakłócenia w przeglądarce, takie jak spowolnienie sieci, utrata połączenia lub ograniczenie wydajności procesora, albo wstrzymuje, zatrzymuje, wymusza zakończenie i ponownie uruchamia zarejestrowany kontener Docker.
Co oznacza NOT_INJECTED?
Wynik testu chaosu w infrastrukturze, gdy nie wystąpiło żadne wymuszone zakłócenie. Przebieg, w którym nie udało się wywołać zakłócenia, nigdy nie jest uznawany za potwierdzenie odporności.
Czym jest obciążenie?
Wątki robocze silnika generują obciążenie i raportują liczbę żądań na sekundę, opóźnienia od p50 do p99, odsetek błędów oraz APDEX, z wynikiem PASS, OVER_BUDGET lub UNMEASURED.
Czym jest Smart Monkey?
Autonomiczny skaner DAST do badania celów, które masz prawo testować. Potwierdza wykryte podatności typu blind za pomocą nasłuchu na Twojej maszynie i eksportuje wyniki w formacie SARIF.
Czym jest regresja wizualna?
Porównywanie pikseli z zatwierdzonymi obrazami: pierwsze uruchomienie tworzy wzorzec, a kolejne są z nim porównywane. Wzorce są przechowywane osobno dla każdej przeglądarki i platformy.
Czym jest raport dla kierownictwa?
Rekomendacja dotycząca wydania: zgoda, ostrożność lub wstrzymanie, wraz z poziomem pewności, pokryciem i odsetkiem zaliczonych testów oraz niepowodzeniami i ich przyczynami źródłowymi, przeznaczona dla osoby zatwierdzającej wydanie.
Pojęcia związane z testowaniem
Ogólne terminy zdefiniowane zgodnie z ich znaczeniem w tej witrynie.
Czym jest niestabilny test?
Test, który kończy się niepowodzeniem, a przy ponownej próbie zostaje zaliczony. Nexus Studio oznacza go jako FLAKY zamiast po cichu uznać za zaliczony, dzięki czemu niestabilny test pozostaje widoczny.
Czym jest fałszywe niepowodzenie?
Niepowodzenie testu spowodowane przez środowisko, a nie aplikację, na przykład przez wolną sieć, niedostępny host, weryfikację wykrywającą boty lub zawieszoną przeglądarkę.
Dlaczego testy kończą się niepowodzeniem, gdy aplikacja działa prawidłowo
Czym jest niestabilny selektor?
Lokalizator, który przestaje działać po zmianie interfejsu. Ocena stanu lokalizatorów wskazuje słabe selektory, zanim przestaną działać, a wiersz naprawy proponuje bardziej odporne.
Czym jest rozliczanie za komputer?
Cena planu zależy od liczby aktywowanych instalacji w systemie Windows. Każdy plan obejmuje wszystkie funkcje, bez opłat za użytkownika, test czy równoległe uruchomienie.
Zobacz te pojęcia w praktyce we własnej aplikacji.
Bezpłatnie przez 30 dni, ze wszystkimi funkcjami, na Twoich komputerach. Bez karty płatniczej.