コンテンツにスキップ

自動化されたテスト結果をインポートする

WebクライアントはJUnit XML、TRXおよびNUnit 3 XMLのインポートをサポートします。自動化されたテスト結果を通常の計画されたテストケースのバリアントにマッピングします。手動およびインポートされた結果は既存のテスト実行およびリリースレポートに一緒に表示され、インポート元は識別可能なままです。

準備

必要なテストケース、バリアント、およびテスト実行を最初に作成してください。自動ビルド専用の実行を用意するとマッピングが容易になり、手動作業を保護できます。選択した実行およびそのバリアントには、通常の読み取りおよび結果編集の権限が必要です。

ファイルインポートは選択されたXML結果ファイルのみを処理します。別のJenkinsエントリは設定されたジョブを開始し結果を取得できます。詳細は以下を参照してください。フォーマットは内容から検出されます。TRXファイルは.trx拡張子を使用する場合があります。既存のWindowsスクリプトおよびMCP結果アクションは引き続き利用可能です。

プレビューとインポート

  1. ターゲットのテスト実行とその自動結果エントリをWebクライアントで開いてください。
  2. 結果ファイルを選択し、有意義なソースとビルド識別子を入力してください。資格情報や機密ログはアップロードしないでください。
  3. インポートしたい外部テストを明示的に計画されたバリアントとプロジェクト内の適切な結果定義にマッピングしてください。類似タイトルは自動的に同一とは扱われません。
  4. プレビューを確認してください。マッピングされていない、スキップされた、ブロックされた行は成功したテストではありません。
  5. インポートを確認し、各行の結果を検査してください。一部の失敗は他の行がすでにインポートされている可能性があります。

ファイルは2MiBおよび1000テストケースに制限されています。重複する外部ID、矛盾するステータス、無効な期間、外部エンティティを含むXMLは拒否されます。スキップされた外部テストは実行済みまたは成功した結果を作成しません。クイックテスト行はこのインポートではサポートされていません。

対応フォーマットと制限

  • JUnit XML:はpytest、PHPUnitおよびPlaywrightからのエクスポートを含みます。これら3つのレポーターから生成された例は恒久的な回帰テストでカバーされています。JUnitはここでは交換フォーマットであり、Javaや単体テストに限定されません。
  • TRX: Visual Studio は TeamTest 2010 XML 名前空間を使用して報告します。Passed は成功にマッピングされ、Failed、Error、Timeout は失敗にマッピングされ、NotExecuted はスキップにマッピングされます。ネストされたデータ行(InnerResults)はまだサポートされていません。
  • NUnit 3 XML: NUnitレポートはtest-runをルートとします。パラメータ化されたケースは完全な名前で区別されます。Passed、Failed、Skippedがサポートされています。

結論が出ない、中止された、またはサポートされていない状態は拒否されます。認識された再試行/不安定マーカー、重複ID、矛盾する成功証拠は決して静かに成功に変わりません。レポーターが再試行証拠なしに最終結果のみをエクスポートした場合、以前の失敗は再構築できません。添付ファイル、コンソール出力、実行環境は自動的にインポートされず、限定的な失敗診断が結果説明となります。元のレポートはテスト範囲の完全性チェックに代わるものではありません。

既存の作業を保護する

権限、実行状態、前提条件および対象結果はインポート前に再度確認されます。完了した実行および既に手動で編集された結果は上書きされません。ノート、実行時間および添付ファイルも既存の作業としてカウントされます。必要な追加フィールドおよびテストケースの依存関係は通常の検証を維持します。

同一のインポート識別子で同一の内容とマッピングを繰り返し使用しても、重複した結果は作成されません。内容が変更された識別子を再利用するか、その間に結果が変更された場合は競合が発生します。失敗したインポートを完全に完了したものとして扱うのではなく、影響を受けた行を検査してください。

部分的な失敗の後、同じインポート識別子とマッピングで新しいプレビューを作成して再試行します。同じプレビューを再度確認すると、既存の受領書が返されます。

起源と制限

ソース、ビルド識別子、インポーターおよびインポート時間は結果の記録を示しますが、実際に自動テストを実行した人物や実行日時を証明するものではありません。不明な実行時間は不明のままです。インポートされた結果は、外部テストがどのバージョンのテスト仕様を実施したかを自動的に証明しません。

したがって、リリース比較およびリスク評価は依然として証拠のギャップを示すことがあります。インポートされた結果が成功していても、完全なテスト範囲や人間の受け入れを置き換えるものではありません。手動編集後は、元のインポート元は現在の結果内容の証拠とはなりません。

WindowsとMCP

Windowsは通常の結果を読み取り、関連するテスト実行でウェブリンクを提供します。共有ウェブ起動は認証済みのWindowsセッションを渡します。ハンドオフが失敗した場合のみサインインが必要です。インポートインターフェース自体はウェブクライアント内にあります。

MCPはztm_automation_import_read、ztm_automation_import_previewおよびztm_automation_import_commitを通じて同じチェックを使用します。通常のプロジェクト権限が適用され、コミットにはさらにproject.automation-import.commitの書き込み機能が必要です。MCPはXMLおよびJSONエスケープを含むJSONリクエスト本文全体に対して既存の1 MiB制限を維持します。より大きなファイル(最大2 MiB)にはウェブインターフェースを使用してください。接続されたサーバーのツール説明を参照し、安全な再試行のためにインポート識別子を保持してください。

WebクライアントからJenkinsを操作する

ファイルアップロードおよび以下に説明するプッシュパイプラインは、直接Jenkins統合と併用可能です。

サーバー管理者はJenkins接続を設定します:ベースURL、ジョブパス、固定アーティファクトパス、Jenkinsユーザー、APIトークンおよび承認されたプロジェクトGUID。プロジェクト管理者のみでは宛先や資格情報の変更は許可されません。トークンはサーバー上で保護され再表示されません。空のトークンフィールドは保存済みトークンを保持します。サーバーデータはデータ保護キーと共にバックアップしてください。

必要なジョブ/ビルド/アーティファクト権限とAPIトークンを持つ専用のJenkinsユーザーを使用し、パスワードは使用しないでください。ベースURLにはJenkinsのコンテキストパスが含まれる場合があります。ジョブパスはjob/nameまたはjob/folder/job/nameを使用します。パスのセグメントはASCIIの英字、数字、ドット、アンダースコア、ハイフンをサポートします。スペース、エンコードされた文字、親ディレクトリ参照は拒否されます。リダイレクトは追跡されません。HTTPは明示的に管理されたイントラネットのエンドポイントでのみサポートされ、それ以外はHTTPSを使用してください。

  1. 対象の実行に対する自動結果インポートを開き、その後Jenkinsビルドを選択します。
  2. 承認された接続を選択し、ビルド開始を明示的に確認してください。開始しても結果はインポートされません。
  3. ステータスを更新し、操作 ID を持つステータスリンクを保持します。結果が 未確認のまま開始 — 再試行なし の場合は、まず Jenkins を確認してください:ビルドが既に実行中かもしれません。同じ操作は別の開始リクエストを送信しません。別の開始は新たな意図的な操作です。
  4. 結果を取得してプレビューするの下で、完了したビルドの正確な番号を入力してください。lastSuccessfulBuildのようなエイリアスは受け付けられません。
  5. 明示的なテストマッピングを確認し、ファイルアップロードと同様にインポートを承認します。プレビューとコミットは、Jenkinsが後で置き換えた場合でも変更されていない取得済みアーティファクトを使用します。

アーティファクトは2 MiBに制限され、最大15分間保護されます。期限切れのバイトは定期的に削除されます。破棄はステージされたバイトも削除します。インポートIDは異なる内容を静かに取得できません。サーバー再起動後、同じインポートIDはそのウィンドウ内で保存されたバイトから新しいプレビューを生成できます。期限切れ後は新しいIDで明示的に再取得してください。コミット後は部分インポートでも領収ページを再読み込み可能で、最後にコミットされた結果を表示します。スキップおよびマッピングされていないテストは結果を生成しません。手動入力は競合として報告され保持されます。インポートに使用されたAPIキーはztm_ci_receiptと{"importId":"<UUID>"}を使用してMCPまたはREST経由で領収を再取得できます。アーティファクトの期限切れ後も領収は読み取り可能です。接続変更およびプロジェクト承認の取り消しは古いプレビューをブロックします。通常の実行・結果権限およびデモ制限も適用されます。

MCPおよびRESTアクセス

8つの操作すべてが同じWebサービスを共有します。RESTはPOST /api/v1/operations/ztm_ci_<operation>を使用し、ベアラーキーとX-ZTM-Project-UniqueIdを用います。MCPは同じツール名を使用します。フィルタリングされた/api/v1/openapi.json契約は入力と出力を記述します。

操作 目的 書き込み機能
connections 実行の承認済み接続を読み取る なし
status 保存された操作を読み取る なし
start 安定版operationIdの使用を開始 project.ci.start
refresh Jenkinsのステータスを取得して保存 project.ci.refresh
preview 安定版importIdの下で明示的にbuildNumberを取得する project.ci.preview
repreview 明示的なマッピングを再確認する project.ci.repreview
commit プレビューを確定する project.ci.commit
discard ステージされたバイトを破棄する project.ci.discard

書き込みにはグローバルなプロジェクト書き込み有効化と対応する機能が必要です。開始およびコミットには慎重な判断の後にconfirmed: trueも必要です。操作およびプレビューはプロジェクト、ユーザー、APIキーまたはウェブセッションに紐づきます。サーバー管理者の接続設定は意図的にプロジェクトMCP/RESTから除外されています:プロジェクト書き込みアクセスはネットワーク宛先や秘密情報の変更を認可してはなりません。Windowsは既存のインポートパスを維持し、新しいJenkinsコントロールはウェブクライアントにあります。

REST と Jenkins

REST APIはPOST /api/v1/operations/ztm_automation_import_read、ztm_automation_import_preview、ztm_automation_import_commitで同じ3つの操作を公開します。APIキーはBearerトークンとして、プロジェクト識別子はX-ZTM-Project-UniqueIdで送信してください。RESTはJSONリクエストボディ全体を1MiBに制限します。通常の結果編集権限および明示的に付与されたproject.automation-import.commit書き込み権限が引き続き必要です。

PythonスクリプトとローカルHTTPテストを含む適応可能なJenkinsの例がソースパッケージのZetaTestMain/Source/docs/examples/jenkins-automation-importに含まれています。これはPython 3.11以降を搭載した信頼できるLinuxエージェントを必要とし、既存のレポート生成テストステージに従います。キーはJenkinsの秘密テキスト資格情報として保存してください。キー、XML内容、およびプレビュートークンはコンソールログに含めず、ワークスペースおよびプレビュー/結果アーティファクトへのアクセスを保護してください。

  1. プロジェクト、編集可能な実行、および明示的なマッピングを準備します。readと{"testRunId":123}を使用すると、適格なターゲットと結果定義が返されます。空のmappingsでプレビューすると外部テスト識別子を検出できます。類似したタイトルはマッピングを置き換えません。
  2. preview は UUID importId、testRunId、xml、source、buildId および mappings を受け入れます。各マッピングには externalCaseId、plannedVariantId および resultDefinitionId が含まれます。例では、スキップされていない行がマッピングされていないかブロックされている場合、書き込み前に停止します。
  3. Jenkinsプレビューアーティファクト内のすべての外部テスト、ステータス、ターゲットバリアント、結果定義、およびビルドと実行の識別情報を確認します。その後でのみJenkins入力ステップを承認してください。プレビュートークンは15分で期限切れになります。例では承認とコミットを10分に制限しています。
  4. commit は {"previewToken":"<token of the approved preview>"} のみを受け入れます。応答には Complete と個別の Rows が含まれます。例では、Imported、AlreadyImported または保持された Skipped ステータスの完全に確認された行のみを受け入れます。スキップされたテストは実行されず、成功したインポートはテストが合格したことを意味しません。

レスポンスは直接のJSONオブジェクトです。既存のインポートレスポンスはToken、ExpiresUtc、Rows、Codeなどの名前を使用し、入力は上記のローワーキャメルケースを使用します。HTTP 200だけでは完全なインポートを確立しません:部分的な失敗により他の行が保存される場合があります。この例は結果、競合、期限切れプレビュー、通信エラーで失敗し、自動的に書き込みを再試行しません。

同じ外部ビルドを再試行するには、その正確な元のビルド識別子、ファイル、マッピング、サーバーアドレス、プロジェクトおよび実行を保持してください。例では、その識別子から同じインポート識別子を導出しています。部分的な失敗後は、新しいプレビューを取得し、再度レビューおよび承認してください。コミットタイムアウト後は、インポートが既に完了している可能性があるため、まずインポート履歴と保存された結果を確認してください。新しいテスト実行には新しいビルド識別子が必要です。ローカルHTTPテストは、ご自身のJenkinsでの適応パイプラインの検証や専用テストプロジェクトへの合成インポートの代わりにはなりません。

テスト実行時に、WebでCI結果を開くはその実行が選択された状態でCI/Jenkinsのページも開きます。ページを開いてもジョブは開始されず、結果もインポートされません。この操作は同じ自動サインインの引き継ぎを使用します。