test(tester): validate CSV regression summary totals
This commit is contained in:
@@ -227,7 +227,23 @@ python3 <skill-dir>/scripts/catalog.py run-script --root <root> --id <id>
|
||||
python3 <skill-dir>/scripts/generate_run_csv.py --root <root> --run <yaml>
|
||||
```
|
||||
|
||||
这会写出与快照同名的 `.pouch/tester/runs/<run-id>.csv`(`executed=yes|no`),不会修改 `cases.csv`。对话里两个路径都报。
|
||||
这会写出与快照同名的 `.pouch/tester/runs/<run-id>.csv`(`executed=yes|no`),不会修改
|
||||
`cases.csv`。对话里两个路径都报。
|
||||
|
||||
需要复核已有成绩单时,显式同时传入同一次运行的 CSV 和 YAML:
|
||||
|
||||
```bash
|
||||
python3 <skill-dir>/scripts/summarize_run.py \
|
||||
--csv .pouch/tester/runs/<run-id>.csv \
|
||||
--yaml .pouch/tester/runs/<run-id>.yaml
|
||||
```
|
||||
|
||||
汇总状态只读取 CSV `result` 列,必须输出五类 `pass / fail / environment-fail /
|
||||
skipped / not-run`,且计数和等于 CSV 数据行数。汇总前会检查 CSV 数据行数、CSV 唯一
|
||||
testcase id 数、YAML `results` 数量和 CSV/YAML testcase id 集合;重复或缺失 id、缺失或
|
||||
未知 CSV 状态、任一数量或集合不一致都会非零退出并给出诊断。YAML 的 `counts` 或其它
|
||||
历史汇总字段不会参与状态计数。退出码 0 表示汇总校验成功,非零表示报告不一致或输入
|
||||
无效,不等同于产品测试失败。
|
||||
|
||||
对话报告:
|
||||
|
||||
|
||||
Reference in New Issue
Block a user