feat(tester): support isolated full regression workflow
This commit is contained in:
+16
-2
@@ -27,7 +27,12 @@
|
||||
每轮测试会创建新的 terminal,结束后自动关闭;不会复用或关闭已有 terminal。
|
||||
- 测试环境部署由 deployer 在本机 Compose 中触发;正式环境部署由本机 `~/code/app00`
|
||||
项目的 fresh Agent terminal 触发,tester 不直接 SSH 或执行正式 Compose。
|
||||
- 会动硬件、会改数据的用例带风险级别(`readonly` / `mutating` / `destructive`)。默认只跑最低档 `readonly`。要跑更高风险,需要你明确说,例如「风险到 mutating」;碰哪个子系统另由 `gate`(如 hardware / weld)控制。
|
||||
- 会动硬件、会改数据的用例带风险级别(`readonly` / `mutating` / `destructive`)。默认
|
||||
`standard` 只跑最低档 `readonly`。隔离、可重置的 Writes 类环境在 catalog 设置
|
||||
`execution_profile: isolated-full` 后,所有 active 自动化用例都进入执行,不因
|
||||
`AUTHORIZE_MUTATING`、`AUTHORIZE_DESTRUCTIVE`、`AUTHORIZE_ALBUM` 或
|
||||
`AUTHORIZE_PASSWORD` skipped;risk 原值仍保留,必须用 test-preflight 的真实能力检查和
|
||||
cleanup/rollback 保证安全。
|
||||
|
||||
## 使用示例
|
||||
|
||||
@@ -76,7 +81,8 @@ APK/IPA,为本轮创建隔离 worktree,在 Android 和 iOS tester 节点安
|
||||
不执行可用平台;只有全部可用才按目标环境走 deployer 路由、解析 Agent、输出生效
|
||||
列表、准备 Orca 项目并创建临时 terminal。脚本类、浏览器和移动模拟器都在对应
|
||||
Agent 环境中执行。`builder.<platform>` 不能替代 `tester.<platform>`。
|
||||
4. 超出你允许的风险级别会跳过,不会偷偷执行。
|
||||
4. `standard` 下超出你允许的风险级别会跳过;`isolated-full` 由 catalog profile 明确
|
||||
全量 active 执行,不把风险悄悄改成 readonly。
|
||||
5. 无论测试成功、失败或异常,都会关闭本轮创建的 terminal;跑完给出按分类计数的
|
||||
结果,以及 `pass / fail / environment-fail / skipped / not-run`。
|
||||
|
||||
@@ -117,6 +123,14 @@ cleanup 缺失会在开始前阻断;前置失败后的剩余用例是 `not-run
|
||||
`safety` 必须显式选择和授权,不进入默认 smoke/full。它与普通 tester 用例共用原有
|
||||
CSV/YAML 运行记录和汇总校验。
|
||||
|
||||
移动 preflight 还必须在实际 tester 节点验证相册 picker、照片权限与测试图片,以及中文
|
||||
拼音的真实 composition 和候选词选择;缺失时所有 testcase 都保留 `not-run` +
|
||||
`blocked_by`,不会静默 `skipped`。
|
||||
|
||||
失败回流使用 run YAML 顶层 `defects`/`test_issues` 与 `feedback`:PR 触发先更新 PR/关联
|
||||
issue、通知 dispatcher 重新分配开发;需求/bug 触发直接回开发流程。可用
|
||||
`scripts/record_issues.py` 生成同名 CSV 的结构化 issue 列。
|
||||
|
||||
### 汇总已有运行结果
|
||||
|
||||
对已经生成的同一运行 CSV/YAML,使用显式路径汇总:
|
||||
|
||||
Reference in New Issue
Block a user