Pular para conteúdo

Importar resultados de teste automatizados

O cliente web suporta a importação de XML JUnit, TRX e NUnit 3 XML. Ela mapeia resultados de testes automatizados para variantes de casos de teste planejados comuns. Os resultados manuais e importados aparecem em conjunto nos relatórios de ensaio e de libertação existentes, enquanto a origem da importação permanece identificável.

Preparar

Crie os casos de teste necessários, variantes e teste de execução primeiro. Uma execução dedicada para uma compilação automatizada facilita o mapeamento e protege o trabalho manual. Você precisa das permissões normais de leitura e edição de resultados para a execução selecionada e suas variantes.

A importação do arquivo processa apenas o arquivo de resultado XML seleccionado. O item separado Jenkins pode iniciar trabalhos configurados e obter resultados; veja abaixo. O formato é detectado a partir de seu conteúdo; arquivos TRX podem usar a extensão .trx. Os scripts existentes do Windows e as ações de resultado MCP permanecem disponíveis.

Antevisão e importação

  1. Abra a execução de destino e sua entrada de resultados automatizados no cliente web.
  2. Escolha o arquivo de resultado e insira uma fonte significativa e um identificador de compilação. Não faça upload de credenciais ou registros confidenciais.
  3. Mapeie explicitamente cada teste externo que você deseja importar para uma variante planejada e uma definição de resultado apropriada no projeto. Títulos semelhantes não são automaticamente tratados como idênticos.
  4. Reveja a antevisão. As linhas não mapeadas, ignoradas e bloqueadas não são testes bem sucedidos.
  5. Confirme a importação e inspecione o resultado de cada linha. Uma falha parcial pode significar que algumas outras linhas já foram importadas.

Os arquivos são limitados a 2 MiB e 1000 casos de teste. Duplicar identidades externas, status contraditório, durações inválidas e XML com entidades externas são rejeitados. Um teste externo ignorado não cria um resultado executado ou bem- sucedido. As linhas de teste rápido não são suportadas por esta importação.

Formatos e limites suportados

  • JUnit XML: incluindo exportações de pytest, PHPUnit e Playwright. Exemplos gerados destes três repórteres são cobertos por testes de regressão permanentes. JUnit é um formato de troca aqui, não uma restrição para testes de Java ou unidade.
  • TRX: Visual Studio relata usando o espaço de nomes XML TeamTest 2010. Passed mapeia para o sucesso; Failed, Error e Timeout mapeia para o fracasso; NotExecuted mapeia para o ignorá-lo. As linhas de dados aninhadas (InnerResults) ainda não são suportadas.
  • NUnit 3 XML: NUnit relata enraizados no test-run. Casos parametrizados permanecem separados por seus nomes completos. Passed, Failed e Skipped são suportados.

Os estados inconclusivos, abortados ou não suportados são rejeitados. Reconhecida retenta/marcadores de flaky, identidades duplicadas e evidência de sucesso contraditória nunca se tornam silenciosamente sucesso. Se um repórter exporta apenas o resultado final sem prova de repetição, falhas anteriores não podem ser reconstruídas. Os acessórios, os ambientes de saída e execução do console não são importados automaticamente; os diagnósticos de falha delimitados tornam-se a descrição do resultado. O relatório de origem não substitui uma verificação da exaustividade do âmbito do ensaio.

Proteger o trabalho existente

Permissões, estado de execução, pré-requisitos e resultados do alvo são verificados novamente antes da importação. As execuções e resultados completados já editados manualmente não são substituídos. Notas, duração e anexos também contam como trabalho existente. Os campos adicionais necessários e as dependências do caso de ensaio mantêm a sua validação normal.

Repetir o mesmo identificador de importação com conteúdo e mapeamento idênticos não cria resultados duplicados. Reutilizar um identificador com conteúdo alterado, ou encontrar resultados alterados entretanto, produz um conflito. Inspecione linhas afetadas em vez de tratar uma importação falhada como completamente concluída.

Após uma falha parcial, crie uma nova visualização com o mesmo identificador de importação e mapeamento para tentar novamente. Confirmando a mesma visualização novamente retorna seu recibo existente.

Origem e limitações

Fonte, identificador de compilação, importador e tempo de importação descrevem o registro do resultado. Eles não provam quem realmente executou o teste automatizado ou quando ele correu. O tempo de execução desconhecido permanece desconhecido. Um resultado importado também não prova automaticamente qual a versão da especificação de teste exercida pelo teste externo.

Portanto, o comparação de libertação e avaliação dos riscos ainda pode apresentar lacunas de evidência. Um resultado importado bem sucedido por si só não substitui nem o âmbito de ensaio completo nem a aceitação humana. Após uma edição manual, a origem original da importação não é evidência para o conteúdo atual do resultado.

Janelas e MCP

O Windows lê resultados comuns e fornece um link para a web na execução do teste relevante. O lançamento da Web compartilhada passa pela sessão autenticada do Windows; o login é necessário apenas se essa transferência falhar. A interface de importação em si está no cliente web.

MCP usa as mesmas verificações através de ztm_automation_import_read, ztm_automation_import_preview e ztm_automation_import_commit. As permissões comuns do projeto se aplicam; commiting adicionalmente requer a capacidade de gravação project.automation-import.commit. MCP também mantém o seu limite de 1 MiB existente para todo o corpo de solicitação JSON, incluindo XML e JSON escapando; use a interface web para arquivos maiores até 2 MiB. Consulte as descrições de ferramentas do servidor conectado e retenha identificadores de importação para tentativas seguras.

Operar Jenkins a partir do cliente web

O upload de arquivos e o pipeline descrito abaixo estão disponíveis ao lado da integração direta com Jenkins.

Os administradores do servidor configuram Conexões Jenkins: URL base, caminho de trabalho, caminho de artefato fixo, usuário Jenkins, token API e GUIDs de projeto aprovados. A administração do projeto por si só não permite alterar destinos ou credenciais. Os itens são protegidos no servidor e nunca mais são exibidos; um campo de símbolos vazio preserva o token armazenado. Faça backup dos dados do servidor juntamente com suas chaves de proteção de dados.

Use um usuário Jenkins dedicado com os direitos de trabalho/build/artifact necessários e um token API, não uma senha. URLs de base podem incluir um caminho de contexto Jenkins. Caminhos de trabalho usam job/name ou job/folder/job/name. Segmentos de trajeto suportam letras, dígitos, pontos, sublinhados e hífens ASCII. Espaços, caracteres codificados e travessia entre pais são rejeitados. As redirecções não são seguidas. HTTP é suportado para os endpoints intranet explicitamente administrados; use HTTPS de outra forma.

  1. Abra a importação automática de resultados para a execução do alvo, em seguida, Jenkins constrói.
  2. Escolha uma conexão aprovada e confirme explicitamente o Iniciar a compilação. O início não importa os resultados.
  3. Atualizar o status e manter o link de status com seu ID de operação. Se o resultado for Iniciar não confirmado — sem repetir, inspecione Jenkins primeiro: uma compilação pode já estar em execução. A mesma operação nunca envia outro pedido de início. Outro começo é uma nova ação deliberada.
  4. Em Obter e visualizar os resultados, digite o número exato de uma compilação completada. Aliases móveis como o lastSuccessfulBuild não são aceitos.
  5. Reveja mapeamentos de testes explícitos e confirme a importação, como acontece com o upload de arquivos. Visualize e commit use o artefato obtido inalterado mesmo que Jenkins mais tarde o substitua.

Os artefactos são limitados a 2 MiB e protegidos durante, no máximo, 15 minutos; os bytes expirados são removidos periodicamente. Descartar também remove os bytes encenados. Um ID de importação não pode silenciosamente adquirir conteúdo diferente. Depois de um servidor reiniciar, o mesmo ID de importação pode produzir uma nova visualização de seus bytes armazenados dentro dessa janela. Após expiração, buscar explicitamente novamente com um novo ID. Após o commit, você pode recarregar a página de recibo mesmo para uma importação parcial. Mostra o último resultado comprometido. Os testes ignorados e não mapeados não criam um resultado. Uma entrada manual é relatada como um conflito e é preservada. A chave API usada para a importação pode ler o recibo novamente através de MCP ou REST usando ztm_ci_receipt com {"importId":"<UUID>"}. O recibo permanece legível após a expiração do artefacto. As alterações de conexão e a aprovação do projeto revogada bloqueiam pré-visualizações antigas. Permissões normais de execução/resultamento e restrições de demonstração também se aplicam.

Acesso MCP e REST

Todas as oito operações partilham o serviço web. O REST usa POST /api/v1/operations/ztm_ci_<operation>, com uma chave de suporte e X-ZTM-Project-UniqueId; MCP usa o mesmo nome de ferramenta. O contrato /api/v1/openapi.json filtrado descreve entradas e saídas.

Operação Objecto Capacidade de gravação
connections Leitura de conexões aprovadas para uma execução Nenhum
status Leia uma operação armazenada Nenhum
start Começar a usar um operationId estável project.ci.start
refresh Obter e persistir o estado do Jenkins project.ci.refresh
preview Obter buildNumber explícito sob importId estável project.ci.preview
repreview Reverificar mapeamentos explícitos project.ci.repreview
commit Persistir a antevisão project.ci.commit
discard Descartar os bytes em fase project.ci.discard

As gravações requerem a activação global de escrita de projecto e a capacidade de correspondência. Iniciar e commit também requerem confirmed: true após uma decisão deliberada. Operações e pré-visualizações vinculam-se à chave de projeto, usuário e API ou sessão web. Configuração de conexão servidor-administrador está intencionalmente excluída do projeto MCP/REST: o acesso de escrita de projeto não deve autorizar destinos de rede ou mudanças secretas. O Windows mantém seus caminhos de importação existentes; os novos controles Jenkins estão no cliente web.

REST e Jenkins

O REST API expõe as mesmas três operações em POST /api/v1/operations/ztm_automation_import_read, ztm_automation_import_preview e ztm_automation_import_commit. Envie a chave API como um token Bearer e o identificador do projeto no X-ZTM-Project-UniqueId. O REST também limita todo o corpo de solicitação da JSON a 1 MiB. Permissões normais de edição de resultados e a capacidade de gravação project.automation-import.commit explicitamente concedida permanecem necessárias.

Um exemplo adaptável de Jenkins com um script Python e testes HTTP locais está incluído no pacote fonte no ZetaTestMain/Source/docs/examples/jenkins-automation-import. Ele requer um agente Linux confiável com Python 3.11 ou posterior e segue sua fase de teste existente de produção de relatórios. Armazene a chave como uma credencial Jenkins Texto secreto. Chaves, conteúdo XML e tokens de visualização devem ficar fora dos logs do console; proteger o espaço de trabalho e o acesso de artefato de visualização/saída.

  1. Prepare o projeto, execute editável e mapeamentos explícitos. read com {"testRunId":123} retorna alvos elegíveis e definições de resultados. Uma antevisão com mappings vazio pode descobrir identificadores de teste externos; títulos semelhantes não substituem mapeamentos.
  2. preview aceita um UUID importId, testRunId, xml, source, buildId e mappings. Cada mapeamento contém externalCaseId, plannedVariantId e resultDefinitionId. O exemplo para antes de escrever se qualquer linha não-skipped for desmapeada ou bloqueada.
  3. Revise todos os testes externos, status, variante do alvo e definição de resultados no artefato de visualização Jenkins, bem como construir e executar identidade. Só então aprovar o passo de entrada Jenkins. Tokens de visualização expiram após 15 minutos; o exemplo limita a aprovação e commit para dez minutos.
  4. commit aceita apenas {"previewToken":"<token of the approved preview>"}. Sua resposta inclui Complete e Rows individual. O exemplo aceita apenas linhas totalmente confirmadas com Imported, AlreadyImported ou status de Skipped preservado. Os testes ignorados permanecem sem execução; uma importação bem- sucedida não significa que os testes passados.

As respostas são objetos diretos do JSON. As respostas de importação existentes usam nomes como Token, ExpiresUtc, Rows e Code, enquanto as entradas usam o caso de camelo inferior mostrado acima. HTTP 200 sozinho não estabelece uma importação completa: falhas parciais podem deixar outras linhas salvas. O exemplo falha nesses resultados, conflitos, pré-visualizações expiradas e erros de transporte, sem repetir automaticamente as gravações.

Para tentar novamente a mesma compilação externa, mantenha seu identificador de compilação original exato, arquivo, mapeamentos, endereço do servidor, projeto e execução. O exemplo deriva o mesmo identificador de importação dessa identidade. Após falha parcial, obtenha uma nova visualização, reveja e aprove novamente. Após um tempo- limite de commit, inspecione o histórico de importação e os resultados salvos primeiro, porque a importação pode já ter terminado. Novas execuções de teste precisam de um novo identificador de compilação. Testes HTTP locais não substituem a validação do pipeline adaptado em seu próprio Jenkins nem uma importação sintética em um projeto de teste dedicado.

Em uma execução de teste, o Resultados de IC abertos na web também abre a página CI/Jenkins com essa execução selecionada. Abrir a página não começa um trabalho nem importa resultados. Esta entrada utiliza a mesma entrega automática de sinais.