Importer les résultats des tests automatisés¶
Le client Web prend en charge l'importation de Junit XML, TRX et NUnit 3 XML. Il cartographie les résultats d'essais automatisés en fonction des variantes ordinaires de cas d'essai planifiés. Les résultats manuels et importés apparaissent ensemble dans les rapports d'essais et de rejets existants, tandis que l'origine de l'importation demeure identifiable.
Préparer¶
Créer les cas d'essai requis, les variantes et l'exécution d'essai en premier. Une opération dédiée à une construction automatisée facilite la cartographie et protège le travail manuel. Vous avez besoin des permissions normales de lecture et d'édition des résultats pour l'exécution sélectionnée et ses variantes.
L'importation de fichiers ne traite que le fichier de résultats XML sélectionné. L'entrée Jenkins séparée peut démarrer les travaux configurés et récupérer les résultats; voir ci-dessous. Le format est détecté à partir de son contenu; les fichiers TRX peuvent utiliser l'extension .trx. Les scripts Windows existants et les actions de résultat MCP restent disponibles.
Aperçu et importation¶
- Ouvrez l'exécution de la cible et son entrée de résultats automatisés dans le client Web.
- Choisissez le fichier de résultat et entrez une source significative et un identifiant de construction. Ne pas télécharger les identifiants ou les journaux confidentiels.
- Carter explicitement chaque test externe que vous voulez importer dans une variante planifiée et une définition de résultat appropriée dans le projet. Les titres similaires ne sont pas automatiquement traités comme identiques.
- Passez en revue l'aperçu. Les lignes non mapées, déverrouillées et bloquées ne sont pas des tests réussis.
- Confirmez l'importation et inspectez le résultat de chaque ligne. Une défaillance partielle peut signifier que d'autres lignes ont déjà été importées.
Les dossiers sont limités à 2 cas MiB et 1000 cas d'essai. Les identités externes, les statuts contradictoires, les durées non valides et le XML avec des entités externes sont rejetés. Un test externe en panne ne crée pas de résultat exécuté ou réussi. Les lignes d'essai rapide ne sont pas supportées par cette importation.
Formats et limites pris en charge¶
- JUNI XML : incluant les exportations de pytest, PHPUnit et Playwright. Les exemples générés par ces trois reporters sont couverts par des tests de régression permanents. JUnit est un format d'échange ici, pas une restriction aux tests Java ou unitaires.
- C'est vrai. Visual Studio rend compte en utilisant l'espace de noms XML TeamTest 2010. Carte
Passedau succès; carteFailed,ErroretTimeoutau échec; carteNotExecutedau décrochage. Les lignes de données imbriquées (InnerResults) ne sont pas encore supportées. - NUnit 3 XML : NUnit signale des rapports enracinés dans
test-run. Les cas paramétrés restent séparés par leur nom complet.Passed,FailedetSkippedsont pris en charge.
Les États non concluants, avortés ou non soutenus sont rejetés. Les marqueurs de réessayer/faiblement reconnus, les identités dupliquées et les preuves contradictoires de succès ne deviennent jamais silencieusement le succès. Si un déclarant n'exporte que le résultat final sans revérifier les preuves, les échecs antérieurs ne peuvent pas être reconstruits. Les pièces jointes, la sortie de console et les environnements d'exécution ne sont pas importés automatiquement; les diagnostics de défaillances limitées deviennent la description des résultats. Le rapport source ne remplace pas une vérification de l'exhaustivité de la portée du test.
Protéger les travaux existants¶
Les autorisations, l'état d'exécution, les conditions préalables et les résultats cibles sont vérifiés à nouveau avant l'importation. Les exécutions terminées et les résultats déjà édités manuellement ne sont pas remplacés. Les notes, la durée et les pièces jointes comptent aussi comme travaux existants. Les champs supplémentaires et les dépendances des cas d'essai requis conservent leur validation normale.
Répéter le même identifiant d'importation avec un contenu identique et la cartographie ne crée pas de résultats en double. La réutilisation d'un identificateur avec un contenu modifié, ou la rencontre de résultats modifiés dans l'intervalle, produit un conflit. Inspecter les lignes affectées au lieu de traiter une importation défaillante comme complètement terminée.
Après une défaillance partielle, créez un nouvel aperçu avec le même identifiant d'importation et la cartographie pour réessayer. Confirmer le même aperçu renvoie à nouveau son reçu existant.
Origine et limites¶
Source, identifiant de construction, importateur et temps d'importation décrivent l'enregistrement du résultat. Ils ne prouvent pas qui a effectivement effectué le test automatisé ou quand il a couru. Le temps d'exécution inconnu reste inconnu. Un résultat importé ne prouve pas non plus automatiquement quelle version de la spécification d'essai le test externe a effectué.
Par conséquent, comparaison des rejets et évaluation des risques peut encore présenter des lacunes. Un résultat importé réussi ne remplace ni la portée complète des essais ni l'acceptation humaine. Après une modification manuelle, l'origine de l'importation originale n'est pas une preuve du contenu actuel du résultat.
Windows et MCP¶
Windows lit les résultats ordinaires et fournit un lien web à l'exécution de test pertinente. Le lancement web partagé passe la session authentifiée de Windows ; l'enregistrement n'est nécessaire que si ce handoff échoue. L'interface d'importation elle-même est dans le client web.
MCP utilise les mêmes vérifications par ztm_automation_import_read, ztm_automation_import_preview et ztm_automation_import_commit. Les permissions ordinaires de projet s'appliquent; la validation nécessite en outre la capacité d'écriture project.automation-import.commit. MCP conserve également sa limite de 1 MIB existante pour l'ensemble du corps de requêtes JSON, y compris XML et JSON s'échappant; utilisez l'interface web pour les fichiers plus grands jusqu'à 2 MIB. Consultez les descriptions d'outils du serveur connecté et conservez les identifiants d'importation pour des relevés sécurisés.
Operate Jenkins du client web¶
Le téléchargement de fichiers et le pipeline push décrit ci-dessous sont disponibles en même temps que l'intégration directe Jenkins.
Administrateurs de serveurs configurent Connexions Jenkins : URL de base, chemin de travail, chemin d'artefact fixe, utilisateur Jenkins, jeton API et GUIDS de projet approuvés. L'administration du projet à elle seule ne permet pas de changer de destination ou de titre de compétence. Les jetons sont protégés sur le serveur et ne s'affichent plus jamais ; un champ de jetons vide conserve le jeton stocké. Sauvegarder les données du serveur avec ses clés de protection des données.
Utilisez un utilisateur Jenkins dédié avec les droits de travail / construction / artefact requis et un jeton API, pas un mot de passe. Les URLs de base peuvent inclure un chemin contextuel Jenkins. Les chemins de travail utilisent job/name ou job/folder/job/name. Les segments de chemin prennent en charge les lettres, chiffres, points, soulignements et tirets ASCII. Les espaces, les caractères encodés et le parcours parent-répertoire sont rejetés. Les redirections ne sont pas suivies. HTTP est pris en charge pour les paramètres intranet explicitement administrés; utilisez HTTPS autrement.
- Ouvrez l'importation automatique des résultats pour l'exécution de la cible, puis Jenkins construit.
- Choisissez une connexion approuvée et validez explicitement Démarrer la construction. Le démarrage n'importe pas les résultats.
- Rafraîchir l'état et conserver le lien d'état avec son identifiant d'opération. Si le résultat est Commencer non confirmé — pas de réessayer, inspectez Jenkins d'abord : une compilation peut déjà être en cours d'exécution. La même opération n'envoie jamais une autre requête de démarrage. Un autre départ est une nouvelle action délibérée.
- Sous Récupère et prévisualiser les résultats, saisissez le numéro exact d'une construction terminée. Les alias mobiles tels que
lastSuccessfulBuildne sont pas acceptés. - Examiner les mappages de test explicites et confirmer l'importation, comme pour le téléchargement de fichier. Prévisualiser et commit utiliser l'artefact récupéré inchangé même si Jenkins le remplace plus tard.
Les artéfacts sont limités à 2 Mio et protégés pendant au plus 15 minutes; les octets expirés sont enlevés périodiquement. Jeter aussi les octets par étapes. Un ID d'importation ne peut pas acquérir silencieusement un contenu différent. Après le redémarrage d'un serveur, le même ID d'importation peut produire un nouvel aperçu à partir de ses octets stockés dans cette fenêtre. Après expiration, récupérer explicitement avec un nouvel ID. Après avoir commis, vous pouvez recharger la page de réception même pour une importation partielle. Il montre le dernier résultat engagé. Les tests absents et non maquillés ne créent pas de résultat. Une entrée manuelle est signalée comme un conflit et est conservée. La clé API utilisée pour l'importation peut lire le reçu à nouveau via MCP ou REST en utilisant ztm_ci_receipt avec {"importId":"<UUID>"}. Le reçu reste lisible après l'expiration de l'artefact. Changements de connexion et révocation de l'approbation du projet bloc anciens aperçus. Les permissions normales de course/résultats et les restrictions de démo s'appliquent également.
Accès MCP et REST¶
Les huit opérations partagent le service web. REST utilise POST /api/v1/operations/ztm_ci_<operation>, avec une clé au porteur et X-ZTM-Project-UniqueId; MCP utilise le même nom d'outil. Le contrat /api/v1/openapi.json filtré décrit les entrées et sorties.
| Fonctionnement | Objet | Capacité d'écriture |
|---|---|---|
connections |
Lire les connexions approuvées pour une course | Aucune |
status |
Lire une opération stockée | Aucune |
start |
Commencez à utiliser un operationId stable |
project.ci.start |
refresh |
Rattraper et maintenir le statut de Jenkins | project.ci.refresh |
preview |
Obtenez explicitement buildNumber sous importId stable |
project.ci.preview |
repreview |
Revérifier les mappages explicites | project.ci.repreview |
commit |
Commettre l'aperçu | project.ci.commit |
discard |
Rejeter les octets mis en scène | project.ci.discard |
Les écritures nécessitent l'activation globale de l'écriture de projet et la capacité de correspondance. Démarrer et commit nécessite également confirmed: true après une décision délibérée. Les opérations et les prévisualisations se lient au projet, à l'utilisateur et à la clé de l'API ou à la session Web. La configuration de connexion serveur-admin est intentionnellement exclue du projet MCP/REST : l'accès à l'écriture de projet ne doit pas autoriser les destinations réseau ou les modifications secrètes. Windows conserve ses chemins d'importation existants; les nouveaux contrôles Jenkins sont dans le client web.
REST et Jenkins¶
Le REST API expose les mêmes trois opérations à POST /api/v1/operations/ztm_automation_import_read, ztm_automation_import_preview et ztm_automation_import_commit. Envoyez la clé API en jeton porteur et l'identificateur de projet dans X-ZTM-Project-UniqueId. REST limite également l'ensemble de l'organisme de demande JSON à 1 MiB. Les permissions normales d'édition des résultats et la capacité d'écriture project.automation-import.commit explicitement accordée restent nécessaires.
Un exemple Jenkins adaptable avec un script Python et des tests HTTP locaux est inclus dans le paquet source à ZetaTestMain/Source/docs/examples/jenkins-automation-import. Il nécessite un agent Linux de confiance avec Python 3.11 ou plus tard et suit votre étape de test de production de rapports existante. Conservez la clé en tant que titre Jenkins Texte secret. Les clés, le contenu XML et les jetons de prévisualisation doivent rester hors des journaux de console; protéger l'espace de travail et l'accès aux artefacts de prévisualisation/sortie.
- Préparer le projet, les opérations modifiables et les cartes explicites.
readavec{"testRunId":123}renvoie les cibles admissibles et les définitions de résultats. Un aperçu avecmappingsvide peut découvrir des identifiants de test externes ; des titres similaires ne remplacent pas les mappages. previewaccepte un UUIDimportId,testRunId,xml,source,buildIdetmappings. Chaque carte contientexternalCaseId,plannedVariantIdetresultDefinitionId. L'exemple s'arrête avant d'écrire si une ligne non déclassée est déclassée ou bloquée.- Examiner chaque test externe, statut, variante cible et définition de résultat dans l'artefact de prévisualisation Jenkins, ainsi que construire et exécuter l'identité. Ce n'est qu'à ce moment-là que nous approuverons l'étape d'entrée de Jenkins. Les jetons de prévisualisation expirent après 15 minutes; l'exemple limite l'approbation et s'engage à dix minutes.
commitaccepte uniquement{"previewToken":"<token of the approved preview>"}. Sa réponse inclutCompleteetRowsindividuels. L'exemple n'accepte que les lignes entièrement confirmées avec le statutImported,AlreadyImportedou conservéSkipped. Les tests supprimés restent sans exécution; une importation réussie ne signifie pas que les tests sont passés.
Les réponses sont des objets JSON directs. Les réponses à l'importation existantes utilisent des noms tels que Token, ExpiresUtc, Rows et Code, tandis que les entrées utilisent le cas de chameau inférieur indiqué ci-dessus. HTTP 200 seul n'établit pas une importation complète: les échecs partiels peuvent laisser d'autres lignes sauvegardées. L'exemple échoue sur ces résultats, conflits, prévisualisations expirées et erreurs de transport, sans réessayer automatiquement écrit.
Pour réessayer la même construction externe, conservez son identifiant de construction original exact, fichier, mappages, adresse du serveur, projet et exécution. L'exemple dérive le même identifiant d'importation de cette identité. Après un échec partiel, obtenir un nouvel aperçu, examiner et approuver à nouveau. Après un timeout de commit, inspecter l'historique des importations et les résultats enregistrés d'abord, parce que l'importation peut déjà avoir terminé. De nouvelles exécutions à l'essai nécessitent un nouvel identifiant de construction. Les tests HTTP locaux ne remplacent ni la validation du pipeline adapté dans votre propre Jenkins, ni une importation synthétique dans un projet de test dédié.
Lors d'un test, Ouvrir les résultats de CI sur le web ouvre également la page CI/Jenkins avec celle sélectionnée. Ouvrir la page ne commence pas un travail ni n'importe les résultats. Cette entrée utilise la même connect-in automatique.