Importar resultados de pruebas automatizadas¶
El cliente web soporta la importación de XML JUnit, TRX y XML NUnit 3. Asigna resultados automatizados a variantes ordinarias de casos de prueba planificados. Los resultados manuales e importados aparecen juntos en informes existentes de ejecución de pruebas y versiones, mientras que el origen de la importación permanece identificable.
Preparar¶
Cree primero los casos de prueba, variantes y ejecuciones de pruebas requeridos. Una ejecución dedicada para una compilación automatizada facilita el mapeo y protege el trabajo manual. Necesita los permisos normales de lectura y edición de resultados para la ejecución seleccionada y sus variantes.
La importación de archivos procesa solo el archivo XML de resultados seleccionado. La entrada separada de Jenkins puede iniciar trabajos configurados y obtener resultados; véase más abajo. El formato se detecta por su contenido; los archivos TRX pueden usar la extensión .trx. Los scripts existentes de Windows y acciones de resultados MCP permanecen disponibles.
Vista previa e importación¶
- Abra la ejecución objetivo y su entrada de resultados automatizados en el cliente web.
- Elija el archivo de resultados e ingrese una fuente significativa y un identificador de compilación. No cargue credenciales ni registros confidenciales.
- Mapee explícitamente cada prueba externa que desee importar a una variante planificada y a una definición de resultado apropiada en el proyecto. Títulos similares no se tratan automáticamente como idénticos.
- Revise la vista previa. Las filas no mapeadas, omitidas y bloqueadas no son pruebas exitosas.
- Confirme la importación e inspeccione el resultado de cada fila. Un fallo parcial puede significar que algunas otras filas ya han sido importadas.
Los archivos están limitados a 2 MiB y 1000 casos de prueba. Se rechazan identidades externas duplicadas, estados contradictorios, duraciones inválidas y XML con entidades externas. Un caso de prueba externo omitido no crea un resultado ejecutado o exitoso. Las filas de prueba rápida no son compatibles con esta importación.
Formatos soportados y límites¶
- JUnit XML: incluyendo exportaciones de pytest, PHPUnit y Playwright. Los ejemplos generados por estos tres reporteros están cubiertos por pruebas de regresión permanentes. JUnit es un formato de intercambio aquí, no una restricción a Java o pruebas unitarias.
- TRX: Visual Studio informa usando el espacio de nombres XML TeamTest 2010.
Passedse asigna a éxito;Failed,ErroryTimeoutse asignan a fallo;NotExecutedse asigna a omitido. Las filas de datos anidadas (InnerResults) aún no son compatibles. - NUnit 3 XML: Informes NUnit con raíz en
test-run. Los casos parametrizados permanecen separados por sus nombres completos. Se soportanPassed,FailedySkipped.
Los estados inconclusos, abortados o no soportados son rechazados. Los marcadores reconocidos de reintento/inestabilidad, identidades duplicadas y evidencias contradictorias de éxito nunca se convierten silenciosamente en éxito. Si un reportero exporta solo el resultado final sin evidencia de reintentos, no se pueden reconstruir fallos anteriores. Los archivos adjuntos, la salida de consola y los entornos de ejecución no se importan automáticamente; los diagnósticos de fallos limitados se convierten en la descripción del resultado. El informe fuente no reemplaza una verificación de completitud del alcance de la prueba.
Proteger el trabajo existente¶
Se verifican nuevamente permisos, estado de ejecución, prerrequisitos y resultados objetivo antes de la importación. No se sobrescriben ejecuciones completadas ni resultados ya editados manualmente. Las notas, duración y archivos adjuntos también cuentan como trabajo existente. Los campos adicionales requeridos y dependencias del caso de prueba mantienen su validación normal.
Repetir el mismo identificador de importación con contenido y mapeo idénticos no crea resultados duplicados. Reutilizar un identificador con contenido cambiado, o encontrar resultados modificados mientras tanto, produce un conflicto. Inspeccione las filas afectadas en lugar de tratar una importación fallida como completamente terminada.
Después de una falla parcial, cree una nueva vista previa con el mismo identificador de importación y mapeo para reintentar. Confirmar la misma vista previa nuevamente devuelve su recibo existente.
Origen y limitaciones¶
El origen, identificador de compilación, importador y hora de importación describen el registro del resultado. No prueban quién ejecutó realmente la ejecución automatizada ni cuándo se realizó. El tiempo de ejecución desconocido permanece desconocido. Un resultado importado tampoco prueba automáticamente qué versión de la especificación de prueba ejercitó la prueba externa.
Por lo tanto, comparación de versiones y evaluación de riesgos aún puede mostrar lagunas de evidencia. Un resultado importado exitoso por sí solo no reemplaza el alcance completo de la prueba ni la aceptación humana. Después de una edición manual, el origen original de la importación no es evidencia para el contenido actual del resultado.
Windows y MCP¶
Windows lee resultados ordinarios y proporciona un enlace web en la ejecución de pruebas relevante. El lanzamiento web compartido pasa la sesión autenticada de Windows; solo se requiere iniciar sesión si esa transferencia falla. La interfaz de importación está en el cliente web.
MCP usa las mismas verificaciones mediante ztm_automation_import_read, ztm_automation_import_preview y ztm_automation_import_commit. Se aplican permisos ordinarios de proyecto; para comprometer se requiere además la capacidad de escritura project.automation-import.commit. MCP también mantiene su límite existente de 1 MiB para todo el cuerpo JSON de la solicitud, incluyendo escape XML y JSON; use la interfaz web para archivos más grandes hasta 2 MiB. Consulte las descripciones de herramientas del servidor conectado y conserve identificadores de importación para reintentos seguros.
Operar Jenkins desde el cliente web¶
La carga de archivos y la canalización push descrita a continuación están disponibles junto con la integración directa con Jenkins.
Los administradores del servidor configuran Conexiones de Jenkins: URL base, ruta de trabajo, ruta fija de artefactos, usuario Jenkins, token API y GUIDs de proyectos aprobados. La administración del proyecto por sí sola no permite cambiar destinos o credenciales. Los tokens están protegidos en el servidor y nunca se muestran nuevamente; un campo de token vacío conserva el token almacenado. Haga copia de seguridad de los datos del servidor junto con sus claves de Protección de Datos.
Utilice un usuario dedicado de Jenkins con los derechos necesarios para trabajo/compilación/artefacto y un token API, no una contraseña. Las URL base pueden incluir una ruta de contexto de Jenkins. Las rutas de trabajo usan job/name o job/folder/job/name. Los segmentos de ruta admiten letras ASCII, dígitos, puntos, guiones bajos y guiones. Se rechazan espacios, caracteres codificados y recorridos a directorios superiores. No se siguen redirecciones. HTTP se admite para puntos finales de intranet administrados explícitamente; use HTTPS en caso contrario.
- Abra la importación automática de resultados para la ejecución de pruebas destino, luego Compilaciones de Jenkins.
- Elija una conexión aprobada y confirme explícitamente Iniciar compilación. Iniciar no importa resultados.
- Actualizar el estado y conservar el enlace de estado con su ID de operación. Si el resultado es Inicio no confirmado — sin reintento, inspeccione primero Jenkins: puede que ya se esté ejecutando una compilación. La misma operación nunca envía otra solicitud de inicio. Otro inicio es una acción deliberada nueva.
- Bajo Obtener y previsualizar resultados, introduzca el número exacto de una compilación completada. No se aceptan alias móviles como
lastSuccessfulBuild. - Revise los mapeos explícitos de casos de prueba y confirme la importación, como con la carga de archivos. La vista previa y el compromiso usan el artefacto obtenido sin cambios incluso si Jenkins lo reemplaza posteriormente.
Los artefactos están limitados a 2 MiB y protegidos por un máximo de 15 minutos; los bytes expirados se eliminan periódicamente. Descartar también elimina los bytes en etapa. Un ID de importación no puede adquirir silenciosamente contenido diferente. Tras un reinicio del servidor, el mismo ID de importación puede producir una nueva vista previa desde sus bytes almacenados dentro de esa ventana. Tras la expiración, recupérelo explícitamente con un nuevo ID. Después de confirmar, puede recargar la página del recibo incluso para una importación parcial. Muestra el último resultado confirmado. Las pruebas omitidas y no mapeadas no crean un resultado. Una entrada manual se reporta como conflicto y se conserva. La clave API usada para la importación puede leer el recibo nuevamente vía MCP o REST usando ztm_ci_receipt con {"importId":"<UUID>"}. El recibo permanece legible después de que el artefacto expira. Cambios de conexión y revocación de aprobación del proyecto bloquean vistas previas antiguas. También se aplican permisos normales de ejecución/resultado y restricciones de demostración.
Acceso MCP y REST¶
Las ocho operaciones comparten el servicio web. REST usa POST /api/v1/operations/ztm_ci_<operation>, con una clave bearer y X-ZTM-Project-UniqueId; MCP usa el mismo nombre de herramienta. El contrato /api/v1/openapi.json filtrado describe entradas y salidas.
| Operación | Propósito | Capacidad de escritura |
|---|---|---|
connections |
Leer conexiones aprobadas para una ejecución | Ninguno |
status |
Leer una operación almacenada | Ninguno |
start |
Comience usando una versión estable de operationId |
project.ci.start |
refresh |
Obtener y persistir estado de Jenkins | project.ci.refresh |
preview |
Obtener explícito buildNumber bajo importId estable |
project.ci.preview |
repreview |
Volver a verificar asignaciones explícitas | project.ci.repreview |
commit |
Confirmar la vista previa | project.ci.commit |
discard |
Descartar bytes preparados | project.ci.discard |
Las escrituras requieren la habilitación global de escritura en el proyecto y la capacidad correspondiente. Iniciar y confirmar también requieren confirmed: true tras una decisión deliberada. Las operaciones y vistas previas se vinculan al proyecto, usuario y clave API o sesión web. La configuración de conexión del administrador del servidor está intencionadamente excluida del MCP/REST del proyecto: el acceso de escritura al proyecto no debe autorizar destinos de red ni cambios secretos. Windows mantiene sus rutas de importación existentes; los nuevos controles de Jenkins están en el cliente web.
REST y Jenkins¶
El API REST expone las mismas tres operaciones en POST /api/v1/operations/ztm_automation_import_read, ztm_automation_import_preview y ztm_automation_import_commit. Envíe la clave API como token Bearer y el identificador del proyecto en X-ZTM-Project-UniqueId. REST también limita todo el cuerpo JSON de la solicitud a 1 MiB. Se requieren permisos normales para editar resultados y la capacidad de escritura project.automation-import.commit otorgada explícitamente.
Un ejemplo adaptable de Jenkins con un script Python y pruebas HTTP locales está incluido en el paquete fuente en ZetaTestMain/Source/docs/examples/jenkins-automation-import. Requiere un agente Linux confiable con Python 3.11 o superior y sigue su etapa de pruebas existente que produce informes. Guarde la clave como una credencial Jenkins Texto secreto. Las claves, contenidos XML y tokens de vista previa deben mantenerse fuera de los registros de consola; proteja el acceso al espacio de trabajo y a los artefactos de vista previa/resultado.
- Prepare el proyecto, la ejecución editable y las asignaciones explícitas.
readcon{"testRunId":123}devuelve los destinos elegibles y las definiciones de resultados. Una vista previa conmappingsvacío puede descubrir identificadores externos de pruebas; los títulos similares no reemplazan las asignaciones. previewacepta un UUIDimportId,testRunId,xml,source,buildIdymappings. Cada mapeo contieneexternalCaseId,plannedVariantIdyresultDefinitionId. El ejemplo se detiene antes de escribir si alguna fila no omitida está sin mapear o bloqueada.- Revise cada prueba externa, estado, variante objetivo y definición de resultado en el artefacto de vista previa de Jenkins, así como la identidad de compilación y ejecución. Solo entonces apruebe el paso de entrada de Jenkins. Los tokens de vista previa expiran después de 15 minutos; el ejemplo limita la aprobación y el compromiso a diez minutos.
commitacepta solo{"previewToken":"<token of the approved preview>"}. Su respuesta incluyeCompleteyRowsindividuales. El ejemplo acepta solo filas completamente confirmadas con estadoImported,AlreadyImportedoSkippedpreservado. Los casos de prueba omitidos permanecen sin ejecución; una importación exitosa no significa que las pruebas hayan pasado.
Las respuestas son objetos JSON directos. Las respuestas de importación existentes usan nombres como Token, ExpiresUtc, Rows y Code, mientras que las entradas usan el camel case inferior mostrado arriba. HTTP 200 por sí solo no establece una importación completa: fallos parciales pueden dejar otras filas guardadas. El ejemplo falla en estos resultados, conflictos, vistas previas expiradas y errores de transporte, sin reintentos automáticos de escritura.
Para reintentar la misma compilación externa, conserve su identificador de compilación original exacto, archivo, asignaciones, dirección del servidor, proyecto y ejecución. El ejemplo deriva el mismo identificador de importación de esa identidad. Tras un fallo parcial, obtenga una nueva vista previa, revise y apruebe nuevamente. Después de un tiempo de espera de confirmación, inspeccione primero el historial de importación y los resultados guardados, porque la importación puede haberse completado ya. Las nuevas ejecuciones de pruebas necesitan un nuevo identificador de compilación. Las pruebas HTTP locales no reemplazan la validación de la canalización adaptada en su propio Jenkins ni una importación sintética en un proyecto de prueba dedicado.
En una ejecución de pruebas, Abra resultados CI en la web también abre la página CI/Jenkins con esa ejecución seleccionada. Abrir la página no inicia un trabajo ni importa resultados. Esta entrada usa el mismo inicio de sesión automático.