test(tester): validate CSV regression summary totals

This commit is contained in:
2026-10-15 11:08:33 +08:00
parent 9ba9b3da0f
commit baed23d02a
4 changed files with 337 additions and 1 deletions
+17 -1
View File
@@ -227,7 +227,23 @@ python3 <skill-dir>/scripts/catalog.py run-script --root <root> --id <id>
python3 <skill-dir>/scripts/generate_run_csv.py --root <root> --run <yaml>
```
这会写出与快照同名的 `.pouch/tester/runs/<run-id>.csv`(`executed=yes|no`),不会修改 `cases.csv`。对话里两个路径都报。
这会写出与快照同名的 `.pouch/tester/runs/<run-id>.csv`(`executed=yes|no`),不会修改
`cases.csv`。对话里两个路径都报。
需要复核已有成绩单时,显式同时传入同一次运行的 CSV 和 YAML:
```bash
python3 <skill-dir>/scripts/summarize_run.py \
--csv .pouch/tester/runs/<run-id>.csv \
--yaml .pouch/tester/runs/<run-id>.yaml
```
汇总状态只读取 CSV `result` 列,必须输出五类 `pass / fail / environment-fail /
skipped / not-run`,且计数和等于 CSV 数据行数。汇总前会检查 CSV 数据行数、CSV 唯一
testcase id 数、YAML `results` 数量和 CSV/YAML testcase id 集合;重复或缺失 id、缺失或
未知 CSV 状态、任一数量或集合不一致都会非零退出并给出诊断。YAML 的 `counts` 或其它
历史汇总字段不会参与状态计数。退出码 0 表示汇总校验成功,非零表示报告不一致或输入
无效,不等同于产品测试失败。
对话报告: