Przejdź do treści

Import automatycznych wyników badań

Klient WWW obsługuje importowanie JUnit XML, TRX i NUnit 3 XML. Odwzorowuje zautomatyzowane wyniki testów na zwykłe planowane warianty przypadków testowych. Ręczne i importowane wyniki pojawiają się razem w istniejących raportach testowych i wydania, podczas gdy pochodzenie przywozu pozostaje możliwe do zidentyfikowania.

Przygotować się.

Najpierw należy utworzyć wymagane przypadki, warianty i uruchomić test. Specjalny bieg do zautomatyzowanej budowy ułatwia mapowanie i chroni ręczną pracę. Potrzebne są normalne uprawnienia do edycji odczytu i rezultatu dla wybranego przebiegu i jego wariantów.

Importowanie pliku odbywa się tylko w wybranym pliku XML. Oddzielny wpis Jenkins może uruchomić skonfigurowane zadania i pobrać wyniki; patrz poniżej. Format jest wykrywany z jego zawartości; pliki TRX mogą używać rozszerzenia .trx. Istniejące skrypty Windows oraz działania związane z wynikami MCP pozostają dostępne.

Podgląd i import

  1. Otwórz program docelowy i jego automatyczny wpis wyników w kliencie internetowym.
  2. Wybierz plik wyniku i wprowadź znaczące źródło i identyfikator build. Nie wysyłaj poświadczeń ani poufnych dzienników.
  3. Wyraźnie mapować każdy test zewnętrzny chcesz importować do planowanego wariantu i odpowiedniej definicji wyniku w projekcie. Podobne tytuły nie są automatycznie traktowane jako identyczne.
  4. Przejrzyj podgląd. Nieodwzorowane, pominięte i zablokowane rzędy nie są skutecznymi testami.
  5. Potwierdź import i sprawdź wynik każdego rzędu. Częściowa awaria może oznaczać, że niektóre inne wiersze zostały już przywiezione.

Pliki są ograniczone do 2 MiB i 1000 przypadków testowych. Odrzuca się powielanie tożsamości zewnętrznych, sprzecznych statusów, nieprawidłowego czasu trwania oraz XML z podmiotami zewnętrznymi. Pominięty test zewnętrzny nie tworzy wykonanego lub udanego wyniku. Wiersze Quick- test nie są obsługiwane przez ten import.

Obsługiwane formaty i ograniczenia

  • JUnit XML: w tym eksport z Pytest, PHPUnit i Playwright. Wygenerowane przykłady z tych trzech reporterów są objęte stałych testów regresji. JUnit jest tutaj formatem wymiany, a nie ograniczeniem do testów Java lub jednostek.
  • TRX: Visual Studio raportuje za pomocą TeamTest 2010 XML. Passed maps to successment; Failed, Error and Timeout map to default; NotExecuted maps to disapped. Nie są jeszcze obsługiwane wiersze danych zagnieżdżonych (InnerResults).
  • Jednostka 3 XML: NUnit zgłasza zakorzenione w test-run. Parametryczne przypadki pozostają oddzielone od ich pełnych nazwisk. Passed, Failed i Skipped są obsługiwane.

Odrzuca się nierozstrzygające, przerwane lub niewspierane państwa. Rozpoznane ponownie / flaky markery, duplikaty tożsamości i sprzeczne dowody sukcesu nigdy po cichu nie stają się sukcesem. Jeżeli reporter eksportuje jedynie wynik końcowy bez ponownego sprawdzenia dowodów, wcześniejsze porażki nie mogą zostać zrekonstruowane. Załączniki, środowiska wyjściowe konsoli i implementacyjne nie są automatycznie importowane; charakterystyka wyników stanowi diagnostykę awarii. Sprawozdanie źródłowe nie zastępuje kontroli kompletności zakresu badań.

Ochrona istniejącej pracy

Uprawnienia, stan działania, warunki wstępne i wyniki docelowe są sprawdzane ponownie przed importem. Wykonane operacje i wyniki już ręcznie edytowane nie są nadpisane. Notatki, czas trwania i załączniki również liczą się jako istniejące prace. Wymagane dodatkowe pola i zależności od przypadków testowych zachowują swoje normalne zatwierdzenie.

Powtórzenie tego samego identyfikatora przywozowego z identyczną zawartością i mapowanie nie powoduje powielenia wyników. Ponowne użycie identyfikatora ze zmienioną treścią, lub napotkanie zmienionych w międzyczasie wyników, powoduje konflikt. Sprawdzić, które rzędy mają wpływ, zamiast traktować nieudane importowanie jako w pełni zakończone.

Po częściowej awarii, utworzyć nowy podgląd z tym samym identyfikatorem importu i mapowania, aby ponownie spróbować. Potwierdzenie tego samego podglądu ponownie zwraca istniejący paragon.

Pochodzenie i ograniczenia

Źródło, identyfikator budynku, importer i czas przywozu opisać rejestrowanie wyniku. Nie dowodzą, kto faktycznie przeprowadził test automatyczny ani kiedy. Nieznany czas egzekucji pozostaje nieznany. Przywiezione wyniki nie dowodzą również automatycznie, jaką wersję specyfikacji badania przeprowadza się na zewnątrz.

Dlatego też porównanie wyników i ocena ryzyka może nadal wykazywać luki dowodowe. Udany wynik importowany sam w sobie nie zastępuje ani kompletnego zakresu badań, ani akceptacji człowieka. Po ręcznej edycji oryginał importu nie jest dowodem na zawartość bieżącego rezultatu.

Okna i MCP

Windows odczytuje zwykłe wyniki i dostarcza link internetowy podczas odpowiedniego testu. Udostępnione uruchomienie strony internetowej przechodzi uwierzytelnioną sesję Windows; sign- in jest wymagane tylko wtedy, gdy przekazanie nie powiodło się. Interfejs importu sam w sobie jest w kliencie web.

MCP używa tych samych kontroli za pośrednictwem ztm_automation_import_read, ztm_automation_import_preview i ztm_automation_import_commit. Zastosowanie mają zwykłe uprawnienia projektowe; zaangażowanie wymaga dodatkowo możliwości zapisu project.automation-import.commit. MCP zachowuje również istniejący limit 1 MiB dla całego organu żądającego JSON, w tym XML i JSON ucieczki; użyj interfejsu WWW dla większych plików do 2 MiB. Skonsultuj się z opisy narzędzi podłączonego serwera i zachowaj identyfikatory importu dla bezpiecznych ponownych prób.

Obsługa Jenkins od klienta internetowego

Wraz z bezpośrednią integracją Jenkinsa dostępny jest załadunek plików i opisany poniżej rurociąg push.

Administratorzy serwerów skonfigurują Połączenia Jenkinsa: bazowy URL, ścieżkę zadań, stałą ścieżkę artefaktu, użytkownika Jenkinsa, token API i zatwierdzone GUID projektu. Sama administracja projektu nie pozwala na zmianę miejsca przeznaczenia ani mandatów. Token jest chroniony na serwerze i nigdy nie jest wyświetlany; puste pole token zachowuje zapisany token. Backup danych serwera wraz z klawiszami ochrony danych.

Użyj dedykowanego użytkownika Jenkins z wymaganymi prawami do pracy / build / artifact i tokerem API, a nie hasłem. Podstawowe adresy URL mogą zawierać ścieżkę kontekstową Jenkinsa. Ścieżki pracy używają job/name lub job/folder/job/name. Segmenty ścieżek wspierają litery, cyfry, kropki, podkreślenia i mifeny ASCII. Odrzucone są spacje, zakodowane znaki i trawersacja katalogu rodzicielskiego. Przekierowanie nie jest przestrzegane. HTTP jest obsługiwany dla wyraźnie zarządzanych intranetowych punktów końcowych; w przeciwnym wypadku używaj HTTPS.

  1. Otwórz zautomatyzowany import wyników dla docelowej operacji, a następnie Jenkins buduje.
  2. Wybierz zatwierdzone połączenie i wyraźnie potwierdzić Rozpocznij budowę. Rozpoczęcie nie powoduje importu wyników.
  3. Odśwież status i zachowaj połączenie statusu z identyfikatorem operacji. Jeśli wynik jest Uruchom niepotwierdzony - nie ma powtórki, najpierw sprawdź Jenkinsa: budowa może być już uruchomiony. Ta sama operacja nigdy nie wysyła kolejnego wniosku o start. Kolejny początek to nowe celowe działanie.
  4. Pod Pobieranie i podgląd wyników, wprowadź dokładną liczbę ukończonych budowy. Nie akceptujemy ruchomych pseudonimów, takich jak lastSuccessfulBuild.
  5. Przegląd wyraźnych mappings testowych i potwierdzić import, jak w przypadku wysyłania plików. Podgląd i commit używać niezmieniony pobrany artefakt nawet jeśli Jenkins później zastępuje go.

Artefakty są ograniczone do 2 MiB i chronione przez co najmniej 15 minut; przeterminowane bajty są okresowo usuwane. Wyrzucić usuwa również ustawione bajty. Identyfikator importowy nie może po cichu nabywać różnych treści. Po ponownym uruchomieniu serwera, ten sam identyfikator importu może wygenerować nowy podgląd z jego przechowywanych bajtów w tym oknie. Po wygaśnięciu, wyraźnie pobrać ponownie z nowym ID. Po dokonaniu, można ponownie załadować stronę paragonu nawet dla częściowego importu. To pokazuje ostatni wynik. Przeskoczone i nieodwzorowane testy nie tworzą rezultatu. Wpis ręczny jest zgłaszany jako konflikt i jest zachowany. Klucz API używany do importu może ponownie odczytać paragon za pomocą MCP lub REST przy użyciu ztm_ci_receipt z {"importId":"<UUID>"}. Pokwitowanie pozostaje czytelne po wygaśnięciu artefaktu. Zmiana połączenia i cofnięcie zatwierdzenia projektu blokują stare previewy. Zastosowanie mają również zwykłe uprawnienia do wykonywania / wyników oraz ograniczenia demo.

Dostęp do MCP i REST

Wszystkie osiem operacji łączy się z serwisem internetowym. REST używa POST /api/v1/operations/ztm_ci_<operation>, z kluczem na okaziciela i X-ZTM-Project-UniqueId; MCP używa tej samej nazwy narzędzia. Przefiltrowany kontrakt /api/v1/openapi.json opisuje wejścia i wyjścia.

Działanie Cel Zdolność zapisu
connections Odczytywanie zatwierdzonych połączeń do prowadzenia Brak
status Odczyt zapisanej operacji Brak
start Zacznij używać stabilnego operationId project.ci.start
refresh Pobierz i utrzymuje status Jenkins project.ci.refresh
preview Pobierz wyraźny buildNumber pod stabilnym importId project.ci.preview
repreview Mappings jednoznaczne Recheck project.ci.repreview
commit Wykaż podgląd project.ci.commit
discard Wyrzucić bajty ustawione project.ci.discard

Pisarze wymagają globalnego enablementu project- write i funkcji dopasowywania. Uruchom i commit również wymagają confirmed: true po świadomej decyzji. Operacje i podglądy związane są z projektem, kluczem użytkownika i API lub sesją internetową. Konfiguracja połączenia Server- admin jest celowo wyłączona z projektu MCP / REST: dostęp do project- write nie może zezwalać na docelowe połączenia sieciowe lub tajemne zmiany. Windows zachowuje istniejące ścieżki importu; nowe sterowniki Jenkins są w kliencie webowym.

REST i Jenkins

REST API eksponuje te same trzy operacje na POST /api/v1/operations/ztm_automation_import_read, ztm_automation_import_preview i ztm_automation_import_commit. Wyślij klawisz API jako symbol Berera i identyfikator projektu w X-ZTM-Project-UniqueId. REST ogranicza również cały JSON wniosek organ do 1 MiB. Wymagane są normalne uprawnienia do edycji wyników oraz wyraźnie przyznana zdolność zapisu project.automation-import.commit.

Przykład Jenkinsa z skryptem Pythona i lokalnymi testami HTTP jest zawarty w pakiecie źródłowym ZetaTestMain/Source/docs/examples/jenkins-automation-import. Wymaga zaufanego agenta Linuksa z Python 3.11 lub później i następuje istniejący etap testowy report- producing. Klucz należy przechowywać w postaci karty kredytowej Jenkins Tekst tajny. Klucze, zawartość XML i żetony podglądu muszą pozostawać poza logami konsoli; chronić przestrzeń roboczą i podgląd / wynik dostępu artefaktu.

  1. Przygotować projekt, edytowalny bieg i wyraźne mapowanie. read z {"testRunId":123} zwraca kwalifikujące się cele i definicje wyników. Podgląd z pustym mappings może wykryć zewnętrzne identyfikatory testowe; podobne tytuły nie zastępują mappingów.
  2. preview akceptuje UUID importId, testRunId, xml, source, buildId i mappings. Każde odwzorowanie zawiera externalCaseId, plannedVariantId i resultDefinitionId. Przykład zatrzymuje się przed zapisaniem, jeśli dowolny niepominięty wiersz jest odwzorowany lub zablokowany.
  3. Przejrzyj każdy zewnętrzny test, status, wariant docelowy i definicję rezultatu w artefakcie podglądu Jenkinsa, a także buduj i uruchom tożsamość. Tylko wtedy zatwierdzisz krok Jenkinsa. Podgląd żetonów wygasa po 15 minutach; przykład ogranicza zatwierdzenie i zobowiązuje się do 10 minut.
  4. commit akceptuje tylko {"previewToken":"<token of the approved preview>"}. Odpowiedź na leczenie obejmuje Complete i poszczególne Rows. Przykład akceptuje tylko w pełni potwierdzone wiersze ze statusem Imported, AlreadyImported lub Skipped. Pominięte testy pozostają niewykonane; udany import nie oznacza, że testy zostały przeprowadzone.

Odpowiedzi są bezpośrednie obiekty JSON. Istniejące odpowiedzi importowe używają nazw takich jak Token, ExpiresUtc, Rows i Code, podczas gdy wejścia używają dolnej obudowy wielbłąda przedstawionej powyżej. HTTP 200 sam nie ustanawia pełnego importu: częściowe błędy mogą pozostawić pozostałe wiersze zapisane. Przykład nie odnosi się do tych wyników, konfliktów, przeterminowanych podglądów i błędów transportowych, bez automatycznego ponownego próbowania pisania.

Aby ponownie spróbować tej samej zewnętrznej budowy, zachować jej dokładny oryginalny identyfikator build, plik, mappings, adres serwera, projekt i uruchomić. Przykład ten wywodzi ten sam identyfikator przywozowy z tej tożsamości. Po częściowej awarii, uzyskać nowy podgląd, przegląd i zatwierdzić ponownie. Po timeout commit, sprawdź historię importu i zapisane wyniki najpierw, ponieważ import może już zakończone. Nowe wykonanie testu wymaga nowego identyfikatora budowy. Lokalne testy HTTP nie zastępują walidacji dostosowanego rurociągu w Twoim własnym Jenkins ani syntetycznego importu do dedykowanego projektu testowego.

Podczas testu, Otwarte wyniki CI w Internecie otwiera również stronę CI / Jenkins z wybranym uruchomieniem. Otwarcie strony ani nie rozpoczyna pracy, ani importuje wyników. Ten wpis używa tego samego automatycznego znaku w przekazaniu.