feat(tester): add integration-first journey execution
This commit is contained in:
@@ -9,6 +9,11 @@ Agent、执行目标和临时 terminal 的完整协议见 [execution.md](executi
|
||||
|
||||
## 0. 建立测试矩阵并完成全量 preflight
|
||||
|
||||
`test-preflight` 是 integration 和 journey 的共同硬闸。tester 必须先调用其 `verify`
|
||||
或 `prepare`,保存独立的 preflight YAML/CSV;状态为 `blocked` 或 `environment-fail`
|
||||
时不创建 browser/mobile session,所有尚未执行的 testcase 记 `not-run`。preflight 证据
|
||||
不算 testcase,也不进入 testcase CSV/YAML 的总数。
|
||||
|
||||
测试不是“找到一个能跑的设备就开始”。每轮先建立一份测试矩阵;移动端每个目标产物
|
||||
必须单独占一行:
|
||||
|
||||
@@ -76,6 +81,7 @@ python3 <skill-dir>/scripts/catalog.py select --root <root> \
|
||||
[--category CAT] [--id ID]... [--tag smoke|full|slow] \
|
||||
[--max-risk <risk>] [--driver script|browser|mobile] \
|
||||
[--automation automated|assisted|manual|any] \
|
||||
[--test-type integration|journey] [--suite <client-or-integration-suite>] \
|
||||
[--platform android|ios]... \
|
||||
[--artifact android=<path-or-url>] [--artifact ios=<path-or-url>] \
|
||||
[--binding android=tester.android] [--binding ios=tester.ios]
|
||||
@@ -90,6 +96,15 @@ python3 <skill-dir>/scripts/catalog.py select --root <root> --suite client-smoke
|
||||
`client-smoke`、`client-regression`、`safety` 是 `client_suite` 的固定值,不替换既有
|
||||
`tag=smoke|full|slow`。`safety` 不参与未指定范围的默认选择。
|
||||
|
||||
集成测试显式选择:
|
||||
|
||||
```bash
|
||||
python3 <skill-dir>/scripts/catalog.py select --root <root> --test-type integration
|
||||
python3 <skill-dir>/scripts/catalog.py select --root <root> --suite api-contract
|
||||
```
|
||||
|
||||
未指定 `--test-type`/`--suite` 时,默认选择不会包含 `test_type=integration`。
|
||||
|
||||
选中任一 `driver=mobile` 用例时,`--platform`、每个平台的 `--artifact` 和对应
|
||||
`tester` binding 是硬性参数;`catalog.py select` 会检查产物文件/下载地址和
|
||||
`.pouch/agent.yaml` 中的 binding。缺任何一项直接返回非零并打印 `preflight: blocked`,
|
||||
@@ -106,7 +121,18 @@ python3 <skill-dir>/scripts/catalog.py select --root <root> --suite client-smoke
|
||||
|
||||
无命中:停下说明筛选条件,不要扩大范围。
|
||||
|
||||
## 2. 运行前闸
|
||||
## 2. 双层执行
|
||||
|
||||
preflight 通过后,先按 catalog 顺序执行 `integration`,再按客户端套件顺序执行
|
||||
`journey`。集成服务不可达是 `environment-fail`;服务已达但 API/权限/数据契约断言错误
|
||||
是 `fail`。任何 integration `fail` 都阻断依赖的 journey,并把它们记为 `not-run`;此时
|
||||
不得创建客户端 session。正确测试账号登录失败发生在客户端已启动后,仍是产品 `fail`。
|
||||
|
||||
运行器可复用 `scripts/two_tier.py` 的 `run_integration_first`,它只接收外部 driver
|
||||
回调,不实现 API、浏览器或移动执行器;mock fixture 只能验证调用顺序和失败传播,不能
|
||||
冒充真实部署、Mac 或设备成功。
|
||||
|
||||
## 3. 运行前闸
|
||||
|
||||
- `HOST` 未设(环境变量 / `local.yaml` 都没有):全部停,environment-fail。
|
||||
- 命中条的 `risk` 在 catalog `authorize` 里有对应变量:变量不是 `true` 则该条 `skipped`。有 `gate` 时还要 `catalog.gates` 对应变量为 `true`;`assume` 不成立同样 `skipped`。即使用户点了 id 也不执行。
|
||||
@@ -123,7 +149,7 @@ python3 <skill-dir>/scripts/catalog.py select --root <root> --suite client-smoke
|
||||
- 探测不可达或命中 `stop_if`:在 preflight 阶段记录对应分类/平台的不可用项并停止整轮;
|
||||
先返回用户处理,不创建后续测试 session。只有所有本轮目标环境通过,才进入用例执行。
|
||||
|
||||
## 2.1 移动端平台环境闸门与用户引导
|
||||
## 3.1 移动端平台环境闸门与用户引导
|
||||
|
||||
`driver=mobile` 不是一个可以互换的平台。运行前必须根据 catalog session、用例变量或用户指定,明确本轮是 Android 还是 iOS;无法判断时先停下询问平台,不得猜测。两类平台分别执行以下闸门:
|
||||
|
||||
@@ -184,7 +210,7 @@ Android+iOS 默认是全量 preflight 闸门:任一项不满足,另一平台
|
||||
|
||||
环境引导只负责让用户补齐前置条件;除 catalog 已明确授权的 session 初始化外,不自动安装 SDK、配对真机、修改系统安全设置或上传产物。
|
||||
|
||||
## 3. Session
|
||||
## 4. Session
|
||||
|
||||
看命中条用到的 `session` 键:
|
||||
|
||||
@@ -193,7 +219,7 @@ Android+iOS 默认是全量 preflight 闸门:任一项不满足,另一平台
|
||||
- `reuse: run`:整轮结束再关。`persist`:不关。
|
||||
- 中途 session 挂了:后续同 driver 标 environment-fail,不要标产品失败。
|
||||
|
||||
## 4. 执行
|
||||
## 5. 执行
|
||||
|
||||
按 select 返回的顺序,一条一条来。select 按 `catalog.yaml` 的 `categories` 顺序,同一分类内按该 yaml 列表顺序(不是文件名字母序)。默认失败即停(产品 `fail` 或探测到的不安全状态)。用户说继续 / keep-going 才往后跑。
|
||||
|
||||
@@ -225,7 +251,7 @@ python3 <skill-dir>/scripts/catalog.py run-script --root <root> --id <id>
|
||||
|
||||
挂到已有 session,执行 `how.steps`,对照 `expected`。必须留下可见文本、URL 或交互证据。
|
||||
|
||||
## 5. 记录与报告
|
||||
## 6. 记录与报告
|
||||
|
||||
每条:`id, result, evidence, notes`。`result` 只能是 `pass` / `fail` / `environment-fail` / `skipped` / `not-run`。`skipped` 是主动不跑(retired / pending / 超风险上限 / 未授权 / `assume` 不成立),`not-run` 是没轮到(失败即停后剩下的 / 被前置整组挡住的 / 需人工而无人值守的)。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user