feat(tester): support isolated full regression workflow
This commit is contained in:
+12
-5
@@ -74,10 +74,10 @@ tester agent 配置。
|
||||
- `local.yaml.example` 的 HOST 默认是 `127.0.0.1`；如果目标不是本机，必须在
|
||||
`local.yaml` 或环境变量中显式覆盖。`local.yaml` 不存在且没有环境变量时仍不猜
|
||||
HOST，停下并记 environment-fail。
|
||||
- 默认风险上限是 catalog 里的 `default_max_risk`。超出上限的条目标 `skipped`，禁止执行。
|
||||
- 默认执行 profile 是 `standard`：风险上限来自 catalog 的 `default_max_risk`，超出上限的条目标 `skipped`，禁止执行。若 catalog 声明 `execution_profile: isolated-full`，只允许用于隔离且可重置的测试环境：所有 active 自动化用例都进入执行矩阵，不因 `AUTHORIZE_MUTATING`、`AUTHORIZE_DESTRUCTIVE`、`AUTHORIZE_ALBUM` 或 `AUTHORIZE_PASSWORD` skipped；原有 `risk` 值必须保留并进入报告，安全边界改由 test-preflight 能力探针和 cleanup/rollback 契约保证。
|
||||
- `risk` 只能是 `readonly` / `mutating` / `destructive`，默认只跑 `readonly`。`tag=smoke` 只能配 `risk=readonly`。规则见 [levels.md](references/levels.md)。
|
||||
- `driver=browser` 必须开真实页面；`driver=mobile` 必须挂模拟器 session。二者都不得改成只打 API。
|
||||
- `automation=assisted|manual` 需要人在场：无人值守时记 `not-run`，不要自己代跑人工步骤。见 [concepts.md](references/concepts.md)。
|
||||
- `automation=assisted|manual` 需要人在场：无人值守时记 `not-run`，不要自己代跑人工步骤。isolated-full 取消的是风险/授权过滤，不会伪造人工操作。见 [concepts.md](references/concepts.md)。
|
||||
- 浏览器、移动模拟器按 catalog `sessions` 初始化一次，同一次运行内复用。
|
||||
- Agent、环境、项目目录和 Orca terminal 生命周期见 [execution.md](references/execution.md)：可以从 project id/名称或 terminal id 自动解析，更新后输出配置列表；每轮都新建 terminal，结束后关闭本轮创建的 terminal，不复用或关闭已有 terminal。
|
||||
- 环境准备见 [deployment.md](references/deployment.md)：测试环境只调用 deployer 的本机 Compose 路径；正式环境只委派给本机 `~/code/app00` 的 fresh Agent terminal，tester 不直接 SSH 或执行生产 Compose。
|
||||
@@ -189,6 +189,13 @@ python3 <skill-dir>/scripts/catalog.py select --root <root> --suite safety --max
|
||||
客户端运行器统一遵守 `preflight → 启动 → 登录 → 旅程 → 断言 → 清理 → 报告`。正确测试
|
||||
账号登录失败是产品 `fail`；设备、产物、服务或 session 不可达才是 `environment-fail`。
|
||||
fixture 或 cleanup 缺失会在 `catalog.py select` 的 preflight 阶段阻断，不产生虚假逐条结果。
|
||||
前置用例失败后剩余条目写 `not-run`，主动排除/未授权写 `skipped`。成绩仍写现有
|
||||
`runs/<run-id>.yaml` 并用 `generate_run_csv.py` 生成同名 CSV；清理失败作为 cleanup 证据
|
||||
单独记录，不添加新的 result 值。
|
||||
能力缺失时 preflight 必须明确 blocked/environment-fail，并为所有选中的 testcase 生成
|
||||
`not-run` 结果行；不能把缺失的相册、照片权限、测试图片或中文拼音 composition/candidate
|
||||
能力静默变成 `skipped`。独立用例继续执行，依赖失败的用例写 `not-run` 和 `blocked_by`；
|
||||
修复后按 targeted rerun，再执行 full integration → journey。成绩仍写现有
|
||||
`runs/<run-id>.yaml` 并用 `generate_run_csv.py` 生成同名 CSV；YAML 可带 `defects`/
|
||||
`test_issues` 与 `feedback`，记录 testcase、product/test issue 类型、expected/observed、
|
||||
artifact hash、environment、证据路径、复现和下一步，不添加新的 result 值。
|
||||
|
||||
PR 触发的失败回流必须先更新 PR/关联 issue，再通知 dispatcher 重新分配开发；需求/bug
|
||||
触发的失败直接返回开发流程。tester 只生成结构化回流计划，不在本地偷偷修改远端。
|
||||
|
||||
Reference in New Issue
Block a user