跳转至

导入自动测试结果

网络客户端支持导入JUnit XML,TRX和NUnit 3 XML. 它将自动测试结果映射到普通的计划测试案例变体. 手动和进口结果一起出现在现有的测试运行和释放报告中,而进口来源仍然可以识别。

准备

创建所需的测试案例,变体和测试运行先行. 自动建筑的专用运行使绘图更加容易,保护人工工作。 您需要所选运行及其变体的正常读取和结果编辑权限 。

文件导入进程只包含选中的 XML 结果文件 。 单独的Jenkins条目可以开始配置任务并获取结果;见下文. 格式从内容中检测出来; TRX 文件可能使用 .trx 扩展名。 现有的Windows脚本和MCP结果动作仍然可用.

预览和导入

  1. 在网络客户端中打开目标运行及其自动结果条目.
  2. 选择结果文件并输入有意义的源和构建标识符。 不上传证书或机密日志。
  3. 将您要导入的每个外部测试明确映射到计划中的变体和项目中适当的结果定义. 类似的标题不自动视为完全相同。
  4. 复检预览. 未完成、 跳过和封存的行不是成功的测试 。
  5. 确认导入并检查每行结果. 部分失败可能意味着一些其它行已经导入 。

档案仅限于2个米B和1000个测试病例. 重复的外部身份,矛盾状态,无效持续时间和与外部实体的XML被拒绝. 跳过外部测试不会生成已执行或成功的结果 。 此导入不支持快速测试行 。

支持的格式和限制

  • J 单位 XML : 包括pytest、PHPUnit和Playwright的出口。 这三名记者所生成的例子被永久回归测试所覆盖. JUnit是这里的一种交换格式,不是对Java或单位测试的限制.
  • 特克斯: 特克斯: 特克斯: Visual Studio使用Team Test 2010 XML命名空间进行报告. Passed 绘制成功地图; Failed, Error 财务报告和已审计财务报表 Timeout 绘制失败的地图; NotExecuted 要跳过的地图 。 嵌入式数据行( R)InnerResults) 尚未支持。
  • N单元 3 XML : N 股报告 test-run。 。 。 。 参数化案件仍按全名分开。 Passed, Failed 财务报告和已审计财务报表 Skipped 被支持。

断绝性,中止性或无支持性状态被否决. 公认的重试/虚伪标记、重复身份和自相矛盾的成功证据从未默默地取得成功。 如果记者只输出最终结果而不重试证据,则无法重建早期的失败. 附件,控制台输出和执行环境不自动导入;边框故障诊断成为结果描述. 来源报告不取代测试范围的完整性检查。

保护现有工作

权限、运行状态、先决条件和目标结果在导入前再次检查 。 已完成的运行和已手动编辑的结果不是覆盖的 。 说明、期限和附件也算作现有工作。 需要的额外字段和测试大小写依赖性保留其正常的验证.

重复相同的导入标识符,内容相同,映射不会产生重复的结果. 重用内容改变的标识符,或同时遇到结果改变,会产生冲突。 检查会影响行, 而不是将失败的导入视为完全完成 。

在局部失败后, 创建新的预览, 并使用相同的导入标识符和映射来重试 。 确认相同的预览再次返回其已有的收件 。

起源和限制

来源、建立标识符、进口和进口时间均说明记录结果。 他们不能证明是谁在进行自动测试 或何时进行测试 未知的处决时间仍然未知. 导入的结果也并不自动证明外部测试所执行的测试规格的哪个版本.

因此, 排放比较和风险评估 仍然可以显示证据空白。 仅靠成功进口结果不能取代完整的试验范围,也不能取代人类接受。 经过手动编辑后,原始导入源头不是当前结果内容的证据.

视窗和MCP

Windows读取普通结果,并在相关测试运行时提供网络链接. 共享的网络启动通过经认证的Windows会话;只有在交接失败时才需要登录。 导入界面本身在网络客户端中.

MCP通过ztm_automation_import_read,ztm_automation_import_preview和ztm_automation_import_commit使用相同的检查. 普通的项目权限适用;另外承诺还需要project.automation-import.commit的写能力. MCP还保留了它对整个JSON请求机构的现有1 MiB限制,包括XML和JSON逃跑;使用网络接口处理最多2 MiB的较大文件. 咨询连接服务器的工具描述并保留导入标识符用于安全重试 。

从网络客户端操作 Jenkins

文件上传和下面描述的推车管道与Jenkins的直接集成同时提供.

服务器管理员配置 詹金斯连接:基址,工作路径,固定的文物路径,Jenkins用户,API令牌和经批准的项目GUID. 仅靠项目管理是不能改变目的地或证书的。 托肯斯在服务器上受到保护,不再显示;一个空的令牌字段保存存储的令牌. 与其数据保护密钥一起备份服务器数据 。

使用具有所需工作/构建/艺术权限的专用Jenkins用户和API令牌,而不是密码. 基址可能包括詹金斯上下文路径. 工作路径使用 job/name 或 减 减 job/folder/job/name。 。 。 。 路径段支持 ASCII 字母,数字,点,下划线和连字符. 空间,编码字符和父目录的转录被拒绝. 重新定向没有被遵循。 HTTP支持明确管理的内联网端点;否则就使用HTTPS.

  1. 打开目标运行的自动结果导入 Jenkins 正在建设中.
  2. 选择已核准的连接并明确确认 开始构建。 。 。 。 开始不导入结果 。
  3. 刷新状态并保留状态与运行ID的联系. 如果结果是 开始未经证实的操作——没有重试先检查Jenkins: 可能已经开工了 同一行动从不发出另一个启动请求. 另一个开端是新的蓄意行动。
  4. 下级 获取和预览结果中,输入已完成的建筑的确切数量。 移动别名, 如 lastSuccessfulBuild 不接受。
  5. 审查清晰的测试绘图和确认导入,如文件上传。 预览并承诺使用未变的获取的文物,即使詹金斯后来取代了它.

人工活性限制为2 MiB,保护时间最长为15分钟;过期的字节定期删除. 丢弃也会删除舞台字节. 导入ID不能默默获取不同的内容 。 服务器重启后,同样的导入ID可以从该窗口内存储的字节中产生新的预览. 到期后, 明确使用新身份再次获取 。 执行后,您甚至可以重新装入部分导入的收件页。 它显示了最后承诺的结果。 跳过和未完成的测试不会产生结果 。 人工输入被报告为冲突并保存下来。 用于导入的 API 密钥可以通过 MCP 或 REST 再次读取收件 ztm_ci_receipt 与 {"importId":"<UUID>"}。 。 。 。 该收据在文物过期后仍可读。 连接更改并取消项目批准 块旧预览 。 正常运行/结果权限和演示限制也适用。

MCP和REST访问

所有8个业务都共享网络服务. REST 用途 POST /api/v1/operations/ztm_ci_<operation>,带有无记名钥匙,以及 X-ZTM-Project-UniqueId; MCP 使用相同的工具名称. 过滤器 /api/v1/openapi.json 合同说明投入和产出。

行动 目的 写作能力
connections 读取运行中已核准的连接 无
status 读取存储的操作 无
start 开始使用马厩 operationId project.ci.start
refresh 获取并坚持 Jenkins 状态 project.ci.refresh
preview 获取清晰 buildNumber 稳定状态 importId project.ci.preview
repreview 重新检查清晰的映射 project.ci.repreview
commit 提交预览 project.ci.commit
discard 丢弃已播放的字节 project.ci.discard

写作需要全局的项目写作的赋能和匹配能力. 开始和承诺还需要在经过深思熟虑的决定之后的confirmed: true. 操作和预览绑定在项目,用户和API密钥或网络会话上. 服务器-管理员连接配置被故意排除在项目MCP/REST之外:项目-写入访问不得授权网络目的地或秘密更改. Windows保留其现有的导入路径;新的Jenkins控制器在网络客户端中.

瑞斯特和詹金斯大学

该 REST API 暴露在同一个三个操作在 POST /api/v1/operations/ztm_automation_import_read, ztm_automation_import_preview 财务报告和已审计财务报表 ztm_automation_import_commit曰如何是无碍境. 将 API 密钥作为 Bearer 符号和工程标识符发送到 X-ZTM-Project-UniqueId。 。 。 。 REST还将JSON请求体的全部限制在1米B. 正常结果编辑权限和明确授予的权限 project.automation-import.commit 还需要具备写作能力。

具有 Python 脚本和本地 HTTP 测试的可适应 Jenkins 示例包含在源包中 。 ZetaTestMain/Source/docs/examples/jenkins-automation-import。 。 。 。 它需要使用Python 3.11或以后的可信赖的Linux代理,并遵循您现有的报告生成测试阶段. 将密钥存储为 Jenkins 秘密文本 证书。 密钥, XML 内容和预览符号必须远离控制台日志; 保护工作空间和预览/结果的文物访问.

  1. 准备项目,可编辑运行和清晰的映射. read 与 {"testRunId":123} 返回合格目标和结果定义。 空预览 mappings 能够发现外部测试标识符;类似标题不会取代映射.
  2. preview 接受一个 UUID importId, testRunId, xml, source, buildId 财务报告和已审计财务报表 mappings曰如何是无碍境. 每张地图都包含 externalCaseId, plannedVariantId 财务报告和已审计财务报表 resultDefinitionId。 。 。 。 如果有未滑动的行未被映射或被屏蔽, 示例在写入前会停止 。
  3. 在Jenkins预览文物中审查每一个外部测试,状态,目标变体和结果定义,以及构建和运行身份. 只有那时,詹金斯输入步骤才获得批准. 预览信使在15分钟后失效;例子限制批准,承诺10分钟.
  4. commit 仅接受 {"previewToken":"<token of the approved preview>"}曰如何是无碍境. 其反应包括: Complete 个人 Rows。 。 。 。 该示例只接受完全确认的行 Imported, AlreadyImported 或保留 Skipped 状态。 跳过测试仍未执行;成功导入并不意味着测试通过 。

反应是直接的JSON对象. 现有的进口回复使用一些名称,例如:Token、ExpiresUtc、Rows和Code,而投入则使用上文所示的较低的骆驼案例。 HTTP 200 单是不能建立完整的导入: 部分失败可能留下其他行保存. 该示例在这些结果,冲突,过期预览和运输错误上失败,没有自动重试写.

要重试相同的外部构建,保留其准确的原始构建标识符,文件,映射,服务器地址,工程和运行. 该示例从该身份中获取了同样的导入标识符。 部分失败后,再获得新的预览,审查并再次批准. 在承诺超时后,检查导入历史并先保存结果,因为导入可能已经完成. 新的测试处决需要一个新的构建识别符。 本地HTTP测试既不能取代自己詹金斯的改编管道的验证,也不能取代合成导入专用测试项目.

在试运行时, 在网络上打开 CI 结果 还打开了 CI/Jenkins 的页,其中选择了运行。 打开页面既不开始工作,也不导入结果。 本条目使用相同的自动签注交接方式.