test(tester): validate CSV regression summary totals
This commit is contained in:
@@ -85,3 +85,19 @@ APK/IPA,为本轮创建隔离 worktree,在 Android 和 iOS tester 节点安
|
||||
- **列出**:能看到分类表和总条数;`.pouch/tester/cases.csv` 已由 skill 里的 `generate_cases_csv.py` 从 `cases/` 重新生成。每次运行的结果保存在独立的 `.pouch/tester/runs/<run-id>.*` 文件中。
|
||||
- **维护**:目标 id 能 `查看` 到,且检查通过。
|
||||
- **运行**:有本次 `runs/*.yaml` 快照和同名 `.csv` 成绩单(`executed` 列区分已跑 / 未跑);没填 HOST 时会停,而不是编造失败。
|
||||
|
||||
### 汇总已有运行结果
|
||||
|
||||
对已经生成的同一运行 CSV/YAML,使用显式路径汇总:
|
||||
|
||||
```bash
|
||||
python3 <skill-dir>/scripts/summarize_run.py \
|
||||
--csv .pouch/tester/runs/<run-id>.csv \
|
||||
--yaml .pouch/tester/runs/<run-id>.yaml
|
||||
```
|
||||
|
||||
脚本只从 CSV 的 `result` 列计算 `pass`、`fail`、`environment-fail`、`skipped`、
|
||||
`not-run` 五类状态,并要求五类计数和等于 CSV 数据行数。YAML 只用于校验
|
||||
`results` 数量和 testcase id 集合;数量、集合、重复/缺失 id 或 CSV 缺失/未知状态
|
||||
时返回非零并输出诊断。校验成功才表示这份汇总可作为运行报告;非零表示报告不一致,
|
||||
不能据此判定产品失败。
|
||||
|
||||
Reference in New Issue
Block a user