6.2 KiB
name, description
| name | description |
|---|---|
| tester | 维护并执行项目黑盒测试目录(.pouch/tester):列出/增改用例,按分类或 id 跑脚本、浏览器或移动模拟器;支持用 Orca project id、项目名称或 terminal id 定位 Agent 执行环境并创建临时 terminal。触发词:/tester、列出测试、完善测试用例、 按分类测、跑 smoke、现场复测。 默认风险最低档;local 配置的 HOST 默认是 127.0.0.1。 |
Tester:项目测试目录
开始时解析本 SKILL.md 所在目录为 <skill-dir>。项目根用
git rev-parse --show-toplevel。目录固定为 <root>/.pouch/tester/。
用脚本读写目录,不要把 cases/ 整库灌进上下文。术语与命名理由见 references/concepts.md:
python3 <skill-dir>/scripts/catalog.py <list|select|show|validate|next-id|run-script> \
--root <project-root> [参数]
运行目标可用 resolve_agent.py 按 Orca project id/名称或 terminal id 自动解析并写入
.pouch/tester/local.yaml 的 agent 配置;配置更新完成后输出生效配置列表。该列表是
更新结果,不是测试启动前的人工确认门槛。
选择模式
- 还没有
.pouch/tester/catalog.yaml,或用户说初始化 tester:执行「初始化」。 - 列出、有哪些测试、一共多少条:执行「列出」。
- 看某一条怎么测:执行「查看」。
- 加一条 / 完善 / 改验证 / 退役:执行「维护」。
- 检查目录是否完整:执行「检查」。
- 跑测试、按分类测、按 id 测、跑 smoke:执行「运行」。
边界(所有模式)
local.yaml.example的 HOST 默认是127.0.0.1;如果目标不是本机,必须在local.yaml或环境变量中显式覆盖。local.yaml不存在且没有环境变量时仍不猜 HOST,停下并记 environment-fail。- 默认风险上限是 catalog 里的
default_max_risk。超出上限的条目标skipped,禁止执行。 risk只能是readonly/mutating/destructive,默认只跑readonly。tag=smoke只能配risk=readonly。规则见 levels.md。driver=browser必须开真实页面;driver=mobile必须挂模拟器 session。二者都不得改成只打 API。automation=assisted|manual需要人在场:无人值守时记not-run,不要自己代跑人工步骤。见 concepts.md。- 浏览器、移动模拟器按 catalog
sessions初始化一次,同一次运行内复用。 - Agent、环境、项目目录和 Orca terminal 生命周期见 execution.md:可以从 project id/名称或 terminal id 自动解析,更新后输出配置列表;每轮都新建 terminal,结束后关闭本轮创建的 terminal,不复用或关闭已有 terminal。
HOST只表示被测服务地址;远程执行目标使用agent配置。目标目录必须已有项目内容,找不到 Orca 项目记录时直接登记已有目录;目录本身不存在时停止,不创建空项目。- 环境失败(连不上、缺浏览器、下游超时、session 挂了)不是产品失败。
- 移动端运行必须先通过 run.md 的平台环境闸门;Android 与 iOS 分开探测。目标平台没有可用设备/模拟器时,先停止移动用例,记
environment-fail,并按 run.md 的模板引导用户补齐环境,不能只报一个失败状态。 - 环境引导必须写明平台、具体缺失项、用户可执行的修复动作、验证命令和重跑方式。不得用 API 调用替代真实 Android/iOS session,也不得把环境缺失判成产品
fail。 - 不改产品代码,不提交,不把成绩单当操作手册。
- 禁止把完整
cases/贴进 prompt。筛选用select,单条用show。
初始化
用户点名才跑。已有 catalog.yaml 则不覆盖,转入「检查」。
- 建
.pouch/tester/{cases,runs}/。 - 若不存在,从
<skill-dir>/templates/拷catalog.yaml和local.yaml.example。 - 从模板生成的
local.yaml默认使用HOST: "127.0.0.1";不要根据项目内容猜远程地址。 - 跑
catalog.py validate --root <root>。无用例是「部分完成」,不是失败。
## tester 初始化:完成 | 部分完成 | 阻塞
已具备: …
待配置: 路径 + 字段 + 缺了会挡住哪步
下一步: 一句话
列出
python3 <skill-dir>/scripts/catalog.py list --root <project-root>
把脚本打印的分类表原样给用户。不要手算条数。清单 CSV 由独立脚本从 cases/*.yaml 生成:
python3 <skill-dir>/scripts/generate_cases_csv.py --root <project-root>
list 结束时也会跑它。告诉用户路径 .pouch/tester/cases.csv。不要手改 CSV,改用例走「维护」后再生成。该 CSV 只包含用例定义;运行结果只写入独立的 .pouch/tester/runs/<run-id>.yaml,不会回写清单。
查看
python3 <skill-dir>/scripts/catalog.py show --root <project-root> --id <CASE_ID>
只展示这一条的 how / expected / risk / driver / automation。字段对不上时再读 schema.md。
检查
只读。跑 validate。HOST 是否已配置只报「已设 / 未设」,不要把 local.yaml 全文贴出来。用初始化同一套报告,标题改为 ## tester 检查:…。
维护
读 maintain.md。写 tag/risk/automation 时读 levels.md 与 concepts.md。先 show 或 next-id,拟好条目给用户确认再写文件,然后 validate。
运行
读 run.md 和 execution.md。先 select 得到命中列表,再按 agent 解析目标项目、目录和 Agent,更新配置并输出生效列表,随后创建临时 terminal 并按 driver 分流。未指定范围时等同「tag=smoke 且风险上限=默认且 automation=automated」。select 的 run_together 组按 run.md 整组执行。移动端还要先识别目标平台并完成 Android 或 iOS 环境闸门;闸门未通过时输出对应的用户引导,不继续猜测或代跑。无论运行结果如何,结束前关闭本轮创建的 terminal。