tester v2: 术语对齐 pytest/JUnit/Robot,补齐 automation 与 not-run

字段改名(每项取舍的理由见新增的 references/concepts.md):
- 用例 status -> lifecycle, suite -> tag, surface -> driver,
  cleanup -> teardown, skip_unless -> assume;删除 requires
- risk 取值 safe/act/harm -> readonly/mutating/destructive(单调三级,
  与 gate 正交)
- catalog auth_env -> authorize;授权变量统一为
  AUTHORIZE_MUTATING / AUTHORIZE_DESTRUCTIVE

新增用例字段 automation(automated/assisted/manual),默认 automated,
并在 validate 里机器校验:manual 禁用 driver 与 how.run 且必须有
how.steps;assisted 至少一步以 [人工] 开头。select 新增 --automation。

结果词新增 not-run,区分「主动不跑」(skipped:retired/pending/超风险
上限/未授权/assume 不成立)与「没轮到」(失败即停后、被分类前置挡住整组、
需人工而无人值守)。

status_probe 定为分类级前置条件:catalog 顶层为默认,categories[] 同名键
覆盖(缺省继承 / false 关闭 / mapping 整体替换)。select 按分类返回生效值,
并把 probe.url 用 vars 展开(solve Agent 无法自行解析 ${VAR} 的问题),
同批返回 vars 供 how 里的 ${...} 替换。

新增 references/concepts.md:术语表(每词一句唯一定义 + 业界锚点 +
反例)、v1->v2 映射、以及 risk/automation/not-run/status_probe 的设计理由。
其余文档(SKILL/README/schema/levels/run/maintain)与三个脚本(catalog、
generate_cases_csv、generate_run_csv)同步更新。
This commit is contained in:
2026-09-16 23:07:08 +08:00
parent ca3156ed93
commit cc9af04a40
12 changed files with 443 additions and 143 deletions
+4 -4
View File
@@ -1,6 +1,6 @@
# tester
维护并执行项目里的黑盒测试目录。用例按分类放在 `.pouch/tester/`,可以列出、增改,也可以按分类或编号去跑。
维护并执行项目里的黑盒测试目录。用例按分类放在 `.pouch/tester/`,可以列出、增改,也可以按分类或编号去跑。术语、命名与设计理由见 `references/concepts.md`。
## 什么时候使用
@@ -15,7 +15,7 @@
- 目录在项目根的 `.pouch/tester/`。没有就说「初始化 tester」。
- 跑真实环境前,复制 `.pouch/tester/local.yaml.example` 为 `local.yaml`,填 `HOST`。也可以用环境变量 `HX_TEST_HOST`。
- 会动硬件、会改数据的用例带风险级别。默认只跑最低档(只读)。要跑更高风险,需要你明确说,例如「风险到 hardware」。
- 会动硬件、会改数据的用例带风险级别(`readonly` / `mutating` / `destructive`)。默认只跑最低档 `readonly`。要跑更高风险,需要你明确说,例如「风险到 mutating」;碰哪个子系统另由 `gate`(如 hardware / weld)控制。
## 使用示例
@@ -24,7 +24,7 @@
```
```text
加一条测试:分类 CAM,风险 hardware,开盖再关盖,用脚本打 /api/camera_3d
加一条测试:分类 CAM,风险 mutating,开盖再关盖,用脚本打 /api/camera_3d
```
```text
@@ -41,7 +41,7 @@
2. 改用例前先给你看将要写入的内容,你确认再保存。
3. 执行时:脚本类直接跑命令;浏览器和移动模拟器先初始化一次,同一轮里复用。
4. 超出你允许的风险级别会跳过,不会偷偷执行。
5. 跑完给出按分类计数的结果,以及 `pass / fail / environment-fail / skipped`。
5. 跑完给出按分类计数的结果,以及 `pass / fail / environment-fail / skipped / not-run`。
## 如何判断完成