Skill Tester - Skill 真实测试器

功能概述

对任意 Skill 进行真实运行测试，按"正常"单阶段执行（阶段0预检 + 阶段1正常场景）。

每完成一个阶段立即输出一份可见报告，避免用户长时间等待无产出。

环境说明

变量	含义
`$SKILL_DIR`	本 skill（skill-tester）所在目录
`$TARGET_SKILL_DIR`	用户指定的被测试 skill 目录

Shell 类型：PowerShell 5（命令分隔符统一使用 ;，禁止使用 && 或 &）
静态结构检查脚本：$SKILL_DIR/scripts/check.js
报告输出目录：$TARGET_SKILL_DIR
详细流程参考测试执行指南
报告格式参考报告模板

全局前置条件

前置条件	说明
Node.js	`>=18.20.8`，用于运行 `$SKILL_DIR/scripts/check.js`
目标 Skill	`$TARGET_SKILL_DIR/SKILL.md` 必须存在且可读

全脚本索引清单

脚本	功能
`$SKILL_DIR/scripts/check.js`	校验目标 skill 结构与 frontmatter 合法性（功能清单由主 AI 在阶段 0 自行分析）

跨功能公共规则

规则	说明
全量覆盖	必须为阶段0识别出的每一个功能生成并执行测试场景，任何功能不得跳过（无适用场景需在报告中标注原因）
分阶段交付	每阶段结束后必须立即输出报告，禁止连续执行多个阶段而不向用户汇报
严格串行	同一阶段内的所有场景必须逐个执行，禁止并发
真实执行	子 agent 必须真实调用目标 skill 的工具/API/脚本，禁止模拟
凭证失效即熔断	预检或执行中出现凭证失效，立即终止依赖该凭证的后续场景
脱敏显示	报告中的 token、secret 等敏感字段仅保留前后各 4 个字符
产出物对比	仅阶段1（正常场景），对每个功能采集"预期输出"与"实际输出"并做匹配判定，详见产出物对比规则

触发映射：用户说 -> AI 做

用户输入触发词	AI 执行动作
"skill真实测试" / "跑一下这个skill"	启动分阶段测试：先静态检查与凭证预检，再执行正常场景并输出第一阶段报告

文档索引

文档	内容
检查脚本说明	check.js 参数、输出结构与功能解析
依赖检测指南	外部依赖识别、索要话术、凭证预检
测试执行指南	分阶段执行、子 agent 协议、熔断机制
评判标准指南	契约验证与通用维度评分
报告模板	各阶段报告格式与模板变量

分阶段测试工作流程

阶段	名称	执行内容	输出报告
阶段0	预检	确认目标目录、运行静态检查、检测外部依赖、索要缺失凭证、预检凭证有效性	预检摘要（直接输出，不写入文件）
阶段1	正常场景	为每个功能生成并执行 NORMAL 场景	`$TARGET_SKILL_DIR/{skill-name}-test-report-normal.md`

核心原则：测试是真实运行，不是静态分析。但用户可见的产出必须分阶段交付，禁止长时间无输出。

功能识别规则（全量覆盖）

阶段0 必须从目标 skill 的 SKILL.md 中提取完整的可测试功能列表，作为后续测试的基准。

识别优先级

AI 从文档内容自主推断  >  全脚本索引清单（表格）  >  触发映射表（表格）

识别步骤

AI 自主分析：完整阅读 SKILL.md 全文，从功能概述、使用方式、脚本文档索引等所有章节中提取可测试的功能点
表格补漏：对照「全脚本索引清单」表和「触发映射」表，检查是否有未被步骤 1 覆盖的脚本/触发词，补充到功能列表
去重合并：将步骤 1 和步骤 2 的结果去重合并，形成最终功能列表
标注来源：每个功能标注识别来源（AI 分析 / 脚本清单 / 触发映射），便于报告追溯
提取预期输出：为每个功能确定"预期输出"--优先从目标 SKILL.md 中提取 skill 明确声明的产出（标注"SKILL.md声明"）；若 SKILL.md 未明确声明，由 AI 基于功能描述推断应有的产出（标注"AI推断"）。预期输出用于阶段1报告中与实际输出做对比

输出要求

预检摘要中必须列出完整的功能列表，格式：

功能列表：
  1. 功能名称A - 来源: AI分析, 脚本清单 - 对应脚本: xx.js - 预期输出: {产出描述}（来源: SKILL.md声明/AI推断）
  2. 功能名称B - 来源: 触发映射 - 对应脚本: yy.js - 预期输出: {产出描述}（来源: SKILL.md声明/AI推断）
  ...

产出物对比规则

仅适用于阶段1（正常场景）。对每个功能的产出物进行"预期输出 vs 实际输出"对比，让用户一眼看到 skill 的真实产出效果。

预期输出

优先级	来源	标注
1	目标 SKILL.md 明确声明	`(SKILL.md声明)`
2	AI 基于功能描述推断	`(AI推断)`

预期输出在阶段0功能识别时一并提取
始终标注来源，帮助用户判断不一致时是 skill 问题还是 AI 推断偏差

实际输出记录方式

产出类型	记录方式
文本类	直接记录文本内容
链接类	记录完整 URL（不下载）
文件类	记录本地绝对路径（不复制）
结构化数据	记录 JSON 或关键字段

匹配判定

判定	条件
一致	实际输出的类型、核心内容与预期吻合
部分一致	方向一致但存在偏差（格式略不同、部分字段缺失）
不一致	明显不符（预期返回数据但返回错误、预期生成文件但未生成）

从宽判定：只有明显不符才标"不一致"，模糊地带标"部分一致"。判定须附简要说明。

详细判定标准参考评判标准指南第四节"产出物匹配判定"。

阶段0：预检

确认 $TARGET_SKILL_DIR 存在且包含 SKILL.md
读取检查脚本说明
运行 cd "$SKILL_DIR/scripts"; node check.js "$TARGET_SKILL_DIR"
识别功能列表：完整阅读目标 skill 的 SKILL.md，按照「功能识别规则」提取所有可测试功能，输出功能列表
扫描目标 skill，识别外部依赖并一次性向用户索要缺失凭证
使用目标 skill 内置凭证脚本预检凭证有效性
输出预检摘要（结构检查结果、完整功能列表、依赖状态、凭证状态）

预检摘要输出后，立即进入阶段1。

阶段1：正常场景测试

硬性规则：基于阶段0的功能列表，必须为每一个功能生成至少 1 个 NORMAL 场景，禁止遗漏任何功能
每个场景必须携带阶段0提取的"预期输出"信息
严格串行执行所有 NORMAL 场景
每个场景执行完毕后进行凭证失效熔断检查
采集每个场景的实际产出物（文本/链接/路径），与预期输出对比并给出匹配判定（一致/部分一致/不一致）
汇总结果并生成第一阶段报告（报告中须包含每个功能的"产出物对比"区块）
告知用户报告路径，测试结束

结束话术：

第一阶段「正常场景」测试已完成，报告已保存至：{report-path}
测试结束。

全局错误处理

场景	处理方式
`$TARGET_SKILL_DIR` 不存在	提示用户路径无效，要求重新输入
`$TARGET_SKILL_DIR` 无 SKILL.md	提示该目录不是有效的 skill，终止测试
`$SKILL_DIR/scripts/check.js` 不存在	提示 skill-tester 自身安装不完整，请重新安装
`check.js` 执行失败（非零退出码）	检查 Node.js 是否可用，报告错误
`check.js` 返回内容不是合法 JSON	输出原始 stderr 到报告，标注脚本异常
AI 阶段0未识别到任何功能	在阶段1报告中标注"无可测试功能"，终止测试
用户拒绝提供必需凭证	依赖该凭证的场景标记为"跳过（缺凭证）"，其余场景正常测试
凭证预检：所有必需凭证均失效	直接终止测试，生成预检报告，标注"因基础凭证失效，测试终止"
凭证预检：部分凭证失效	失效凭证相关的场景标记"跳过（凭证失效）"，有效凭证覆盖的场景正常测试
执行中凭证失效（熔断触发）	当前场景若已完成执行标记为"失败（凭证失效）"，若尚未执行标记为"跳过（凭证失效）"；后续依赖该凭证的场景标记"跳过（凭证失效）"，已执行场景证据保留，生成报告
子 agent 执行超时或无响应	标记该场景为"失败（执行异常）"，记录已采集的部分证据，继续下一个场景
子 agent 返回内容无法解析	将原始返回作为证据保留，判定为"失败（输出不可解析）"
检测到授权保护信号	立即终止测试，记录触发输出到报告，标注"因授权保护，测试终止"

使用示例

示例1：完整测试

用户：测试 feishu-docx 这个 skill
AI：
  1. 阶段0：预检通过，功能列表 [上传Markdown, 下载Markdown, 解析链接, 获取token]
  2. 阶段1：执行 4 个 NORMAL 场景 -> 生成 feishu-docx-test-report-normal.md
     -> 测试结束

skill-tester-yashu