代理评测技能
通过确定性检查、独立质量维度和版本化基线规划代理回归测试。
社区 · Muratcan Koylan| 作者 | Muratcan Koylan |
|---|---|
| 许可证 | MIT |
| 来源 | muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub 上的 SKILL.md |
| 适用于 | Claude Code · Codex、Gemini CLI、Cursor、Copilot |
| 读取源文件日期 |
evaluation 技能为真实任务中的代理行为设计质量检查。
它结合确定性验证、独立质量维度与人工审查。裁判提示词和偏差校准由配套的 advanced-evaluation 技能处理。
摘自该技能的 SKILL.md: ## Gotchas
功能
- 定义预期结果与确定性检查。
- 构建覆盖任务复杂度和预算的代表性用例。
- 比较版本化基线并调查回归。
产出内容
- 包含评分量表、回归用例和质量门槛的评测计划。
适用场景
- 修改代理、工具或上下文策略后,需要可重复的对照。
不适用的场景
- 把示例评分当成事实验证或生产认证。
所需条件
- 需要能读取文件的代理、代表性用例、预期结果和执行轨迹。
- Python 示例包含占位分数和模拟代理输出;真实执行器、验证器及付费模型集成需要另行提供。
技能包含的文件
| 文件或文件夹 | 用途 |
|---|---|
SKILL.md | 评测维度、测试设计和回归指导。 |
references/metrics.md | Python 评测器示例和指标参考指南。 |
scripts/evaluator.py | Python 评测器示例和指标参考指南。 |
2026-11-20 在仓库中查到的许可证:MIT。
示例提示词
安装后输入下面任意一条;在提示词中点名技能,可确保它被使用。
- 为这个研究代理设计包含引用检查的回归测试。
- 在报告中分开呈现回答质量与工具使用效率。
- 根据人工标注的基线用例定义质量门槛。
如何安装 evaluation
将示例作为脚手架
复制 SKILL.md 时保留参考资料与脚本。插件市场版本会安装更大的上下文工程合集。
示例使用 Python 标准库,但不会运行真实代理。此处未验证托管上传与 API 执行;模型检查使用你自己的服务和预算。
技能(Skill)是一个包含 SKILL.md 文件的文件夹。只需安装一次;智能体会在每次会话开始时读取它的简短描述,只有请求匹配时才加载完整说明。选择你使用的环境:
Claude Code:从插件市场安装
- 在终端中用
claude启动 Claude Code。 - 添加插件市场(每台电脑一次):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - 安装插件。Claude Code 会先显示插件详情:确认它会添加哪些内容(技能、Hooks、MCP 服务器),然后选择安装给你自己、给该仓库的所有人,还是仅在该仓库中给你自己使用。
/plugin install context-engineering@context-engineering-marketplace - 输入 / 查找
/context-engineering:evaluation,或直接提出任务。
也可以不进入会话,直接在 shell 中运行:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace插件会整体安装,因此会附带其他技能,包括 context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops。
Claude Code:把文件夹复制到技能文件夹
把技能文件夹放到 ~/.claude/skills/,可在这台电脑的所有项目中使用;放到仓库内的 .claude/skills/,则与在该仓库工作的所有人共享(记得提交)。
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/Claude Code 会在会话期间识别这些文件夹中新增或修改的技能。如果会话开始时技能文件夹还不存在,请运行一次 /reload-skills。然后输入 /evaluation,或直接描述任务。
在 Windows 上,请在 Git Bash 或 WSL 中运行这些命令,或用文件资源管理器把文件夹复制到同样的位置。
Codex、Gemini CLI、Cursor 和 GitHub Copilot
这些智能体读取同样的 SKILL.md 文件夹。四者在项目中都认可的文件夹是 .agents/skills/,所以下面的命令把技能复制到那里:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/| 智能体 | 项目文件夹 | 用户文件夹 | 说明 |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | 输入 $ 或运行 /skills 来选择技能;当任务匹配时,Codex 也会自动选用。 |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | 也可以用 gemini skills install <git URL> --path <folder> --consent 从 Git 安装。2026 年 6 月 18 日起,Google 已用 Antigravity CLI 取代 Gemini CLI,面向免费层级和 Google One 用户;Antigravity 在项目中使用 .agents/skills/,个人使用 ~/.gemini/config/skills/。 |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | 在 Agent 聊天中输入 / 选择技能。Cursor 也会读取 Claude Code 的 .claude/skills/ 文件夹。 |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | 适用于 Copilot CLI、云端智能体,以及 VS Code、Visual Studio 和 JetBrains 中的智能体模式(IDE 支持取决于版本)。也可以运行 gh skill install OWNER/REPOSITORY SKILL(公开预览版,需 GitHub CLI 2.90.0 或更高版本)。 |
这些步骤的来源
已于 2026-11-14 对照各厂商的文档核实:
独立质量维度
分别报告正确性、完整性、来源支持和工具行为。加权总分可能掩盖某个维度的严重失败。
先进行确定性的格式和约束检查,再用人工抽样与经过校准的模型裁判处理剩余质量问题。
可重复的回归流程
为用例、提示词、模型和评分规则记录版本。包含现实预算与困难用例,避免只在简单案例中衡量改进。
监控计划不是已部署的监控服务。真实生产系统仍需实现轨迹采集、抽样、保留和升级处理。
关于 evaluation 的常见问题
脚本会自动运行我的代理吗?
不会。示例执行器生成模拟输出。比较评分前,请接入真实代理并捕获真实结果。
找到引用就能证明引用正确吗?
不能。文本标记和引用模式不能验证来源是否存在、是否相关或是否支持事实。
成功运行必须遵循同一工具顺序吗?
通常应评估结果和约束;多个有效工具路径可能完成同一任务。
示例通过阈值通用吗?
不通用。根据任务风险、人工标注和实测基线设定阈值;示例不是认证标准。
更多 AI 技能
相关技能
Dev-Browser 技能
社区 · Sawyer Hood通过持久命名页面、Puppeteer 脚本和本地命令行服务自动操作 Chrome。上下文退化技能
社区 · Muratcan Koylan结合已验证事实和具体任务对照,诊断长上下文失败并制定恢复方案。工具设计技能
社区 · Muratcan Koylan为代理设计清晰的工具接口,说明输入、输出、选择时机和可恢复错误。高级评测技能
社区 · Muratcan Koylan通过基于证据的量表、交换顺序的成对比较和人工校准设计 LLM 裁判。Brainstorming 技能
社区 · Jesse Vincent / Prime Radiant在编写实现代码前,把初步想法整理为双方认可的设计。Writing Plans 技能
社区 · Jesse Vincent / Prime Radiant把已认可的设计转成可审阅的工程任务,明确接口与验证方式。