跳到主要内容

代理评测技能

通过确定性检查、独立质量维度和版本化基线规划代理回归测试。

社区 · Muratcan Koylan
作者Muratcan Koylan
许可证MIT
来源muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub 上的 SKILL.md
适用于Claude Code · Codex、Gemini CLI、Cursor、Copilot
读取源文件日期

evaluation 技能为真实任务中的代理行为设计质量检查。

它结合确定性验证、独立质量维度与人工审查。裁判提示词和偏差校准由配套的 advanced-evaluation 技能处理。

摘自该技能的 SKILL.md: ## Gotchas

这是 Muratcan Koylan 发布的社区技能,未经我们或 Anthropic 审核。技能可以让智能体运行代码、读取文件或访问网络。安装前请阅读它的 SKILL.md 和文件夹中的每个脚本,留意任何与其声称用途不符的内容。

功能

  1. 定义预期结果与确定性检查。
  2. 构建覆盖任务复杂度和预算的代表性用例。
  3. 比较版本化基线并调查回归。

产出内容

  • 包含评分量表、回归用例和质量门槛的评测计划。

适用场景

  • 修改代理、工具或上下文策略后,需要可重复的对照。

不适用的场景

  • 把示例评分当成事实验证或生产认证。

所需条件

  • 需要能读取文件的代理、代表性用例、预期结果和执行轨迹。
  • Python 示例包含占位分数和模拟代理输出;真实执行器、验证器及付费模型集成需要另行提供。

技能包含的文件

文件或文件夹用途
SKILL.md评测维度、测试设计和回归指导。
references/metrics.mdPython 评测器示例和指标参考指南。
scripts/evaluator.pyPython 评测器示例和指标参考指南。

2026-11-20 在仓库中查到的许可证:MIT。

示例提示词

安装后输入下面任意一条;在提示词中点名技能,可确保它被使用。

  • 为这个研究代理设计包含引用检查的回归测试。
  • 在报告中分开呈现回答质量与工具使用效率。
  • 根据人工标注的基线用例定义质量门槛。

如何安装 evaluation

将示例作为脚手架

复制 SKILL.md 时保留参考资料与脚本。插件市场版本会安装更大的上下文工程合集。

示例使用 Python 标准库,但不会运行真实代理。此处未验证托管上传与 API 执行;模型检查使用你自己的服务和预算。

技能(Skill)是一个包含 SKILL.md 文件的文件夹。只需安装一次;智能体会在每次会话开始时读取它的简短描述,只有请求匹配时才加载完整说明。选择你使用的环境:

Claude Code:从插件市场安装

  1. 在终端中用 claude 启动 Claude Code。
  2. 添加插件市场(每台电脑一次):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. 安装插件。Claude Code 会先显示插件详情:确认它会添加哪些内容(技能、Hooks、MCP 服务器),然后选择安装给你自己、给该仓库的所有人,还是仅在该仓库中给你自己使用。
    /plugin install context-engineering@context-engineering-marketplace
  4. 输入 / 查找 /context-engineering:evaluation,或直接提出任务。

也可以不进入会话,直接在 shell 中运行:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

插件会整体安装,因此会附带其他技能,包括 context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops。

Claude Code:把文件夹复制到技能文件夹

把技能文件夹放到 ~/.claude/skills/,可在这台电脑的所有项目中使用;放到仓库内的 .claude/skills/,则与在该仓库工作的所有人共享(记得提交)。

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/

Claude Code 会在会话期间识别这些文件夹中新增或修改的技能。如果会话开始时技能文件夹还不存在,请运行一次 /reload-skills。然后输入 /evaluation,或直接描述任务。

在 Windows 上,请在 Git Bash 或 WSL 中运行这些命令,或用文件资源管理器把文件夹复制到同样的位置。

Codex、Gemini CLI、Cursor 和 GitHub Copilot

这些智能体读取同样的 SKILL.md 文件夹。四者在项目中都认可的文件夹是 .agents/skills/,所以下面的命令把技能复制到那里:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/
智能体项目文件夹用户文件夹说明
OpenAI Codex
.agents/skills/
~/.agents/skills/
输入 $ 或运行 /skills 来选择技能;当任务匹配时,Codex 也会自动选用。
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
也可以用 gemini skills install <git URL> --path <folder> --consent 从 Git 安装。2026 年 6 月 18 日起,Google 已用 Antigravity CLI 取代 Gemini CLI,面向免费层级和 Google One 用户;Antigravity 在项目中使用 .agents/skills/,个人使用 ~/.gemini/config/skills/。
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
在 Agent 聊天中输入 / 选择技能。Cursor 也会读取 Claude Code 的 .claude/skills/ 文件夹。
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
适用于 Copilot CLI、云端智能体,以及 VS Code、Visual Studio 和 JetBrains 中的智能体模式(IDE 支持取决于版本)。也可以运行 gh skill install OWNER/REPOSITORY SKILL(公开预览版,需 GitHub CLI 2.90.0 或更高版本)。
只安装你信任的技能. Anthropic 的建议是只使用可信来源的技能,其他技能在使用前要读完每个文件:技能可能以其描述中未提及的方式,指示智能体运行命令、读取文件或发送数据。

这些步骤的来源

已于 2026-11-14 对照各厂商的文档核实:

独立质量维度

分别报告正确性、完整性、来源支持和工具行为。加权总分可能掩盖某个维度的严重失败。

先进行确定性的格式和约束检查,再用人工抽样与经过校准的模型裁判处理剩余质量问题。

可重复的回归流程

为用例、提示词、模型和评分规则记录版本。包含现实预算与困难用例,避免只在简单案例中衡量改进。

监控计划不是已部署的监控服务。真实生产系统仍需实现轨迹采集、抽样、保留和升级处理。

关于 evaluation 的常见问题

脚本会自动运行我的代理吗?

不会。示例执行器生成模拟输出。比较评分前,请接入真实代理并捕获真实结果。

找到引用就能证明引用正确吗?

不能。文本标记和引用模式不能验证来源是否存在、是否相关或是否支持事实。

成功运行必须遵循同一工具顺序吗?

通常应评估结果和约束;多个有效工具路径可能完成同一任务。

示例通过阈值通用吗?

不通用。根据任务风险、人工标注和实测基线设定阈值;示例不是认证标准。

更多 AI 技能

相关技能

技能分类