高级评测技能
通过基于证据的量表、交换顺序的成对比较和人工校准设计 LLM 裁判。
社区 · Muratcan Koylan| 作者 | Muratcan Koylan |
|---|---|
| 许可证 | MIT |
| 来源 | muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub 上的 SKILL.md |
| 适用于 | Claude Code · Codex、Gemini CLI、Cursor、Copilot |
| 读取源文件日期 |
advanced-evaluation 技能为代理输出设计模型辅助评判。
它涵盖直接评分和成对比较,并明确量表、证据和偏差检查。Python 示例展示提示词结构与预期结果,不调用真实裁判。
摘自该技能的 SKILL.md: ## Gotchas
功能
- 根据任务选择直接评分或成对比较。
- 定义评分等级并要求判断有证据。
- 交换候选顺序,并使用人工标注校准。
产出内容
- 裁判提示词、评分量表和偏差校准计划。
适用场景
- 比较无法仅用确定性检查判断质量的输出。
不适用的场景
- 把未校准的模型评分当作客观真相或有保证的概率。
所需条件
- 需要能读取文件的代理、候选输出、任务标准和人工标注示例。
- 实时评判需集成模型,可能产生服务费用。附带 Python 示例返回预先准备的结构,不调用真实模型。
技能包含的文件
| 文件或文件夹 | 用途 |
|---|---|
SKILL.md | 裁判设计、成对比较和校准指导。 |
references/implementation-patterns.md | Python 示例,以及实现、偏差、指标和流水线参考指南。 |
scripts/evaluation_example.py | Python 示例,以及实现、偏差、指标和流水线参考指南。 |
2026-11-20 在仓库中查到的许可证:MIT。
示例提示词
安装后输入下面任意一条;在提示词中点名技能,可确保它被使用。
- 为这些客服回答起草基于证据的评分量表。
- 比较两种候选顺序,并将胜出者映射回原始身份。
- 制定人工校准方案,并测试冗长偏差。
如何安装 advanced-evaluation
保持参考资料文件夹完整
复制完整技能目录。上下文工程插件会安装合集,不只安装这项裁判设计技能。
阅读或检查示例不需要服务商密钥。实时评测需真实裁判客户端和预算;此处未验证托管上传与 API 执行。
技能(Skill)是一个包含 SKILL.md 文件的文件夹。只需安装一次;智能体会在每次会话开始时读取它的简短描述,只有请求匹配时才加载完整说明。选择你使用的环境:
Claude Code:从插件市场安装
- 在终端中用
claude启动 Claude Code。 - 添加插件市场(每台电脑一次):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - 安装插件。Claude Code 会先显示插件详情:确认它会添加哪些内容(技能、Hooks、MCP 服务器),然后选择安装给你自己、给该仓库的所有人,还是仅在该仓库中给你自己使用。
/plugin install context-engineering@context-engineering-marketplace - 输入 / 查找
/context-engineering:advanced-evaluation,或直接提出任务。
也可以不进入会话,直接在 shell 中运行:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace插件会整体安装,因此会附带其他技能,包括 context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops。
Claude Code:把文件夹复制到技能文件夹
把技能文件夹放到 ~/.claude/skills/,可在这台电脑的所有项目中使用;放到仓库内的 .claude/skills/,则与在该仓库工作的所有人共享(记得提交)。
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/Claude Code 会在会话期间识别这些文件夹中新增或修改的技能。如果会话开始时技能文件夹还不存在,请运行一次 /reload-skills。然后输入 /advanced-evaluation,或直接描述任务。
在 Windows 上,请在 Git Bash 或 WSL 中运行这些命令,或用文件资源管理器把文件夹复制到同样的位置。
Codex、Gemini CLI、Cursor 和 GitHub Copilot
这些智能体读取同样的 SKILL.md 文件夹。四者在项目中都认可的文件夹是 .agents/skills/,所以下面的命令把技能复制到那里:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/| 智能体 | 项目文件夹 | 用户文件夹 | 说明 |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | 输入 $ 或运行 /skills 来选择技能;当任务匹配时,Codex 也会自动选用。 |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | 也可以用 gemini skills install <git URL> --path <folder> --consent 从 Git 安装。2026 年 6 月 18 日起,Google 已用 Antigravity CLI 取代 Gemini CLI,面向免费层级和 Google One 用户;Antigravity 在项目中使用 .agents/skills/,个人使用 ~/.gemini/config/skills/。 |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | 在 Agent 聊天中输入 / 选择技能。Cursor 也会读取 Claude Code 的 .claude/skills/ 文件夹。 |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | 适用于 Copilot CLI、云端智能体,以及 VS Code、Visual Studio 和 JetBrains 中的智能体模式(IDE 支持取决于版本)。也可以运行 gh skill install OWNER/REPOSITORY SKILL(公开预览版,需 GitHub CLI 2.90.0 或更高版本)。 |
这些步骤的来源
已于 2026-11-14 对照各厂商的文档核实:
先看证据,再看总分
定义每个评分等级的含义,并要求支持性观察。先验证确定性约束,再让模型判断剩余质量问题。
为裁判输入和量表记录版本。即使候选输出不变,裁判模型变化也可能改变评分。
校准与分歧
评估与人工标注的一致性,采用适合任务的指标。未经测试校准的置信数值不能视为已校准概率。
检查分歧和偏差压力用例。重要或不一致的判断应交由人工审查,不要藏在一个平均分里。
关于 advanced-evaluation 的常见问题
Python 示例会调用 LLM 吗?
不会。它展示提示词、量表和预设输出结构。需要另行接入并验证真实模型客户端。
为什么要反转候选顺序?
位置可能影响评判。检查一致性前,先把结果映射回原始候选;结果矛盾时应审查或降低置信程度。
反转顺序能消除所有偏差吗?
不能。还应测试冗长、自我偏好和权威暗示,并与人工标注示例对比。
什么时候使用直接评分?
当明确的标准和评分等级有用时使用。成对比较适合相对偏好;两种方式都应按真实任务校准。
更多 AI 技能
相关技能
代理评测技能
社区 · Muratcan Koylan通过确定性检查、独立质量维度和版本化基线规划代理回归测试。上下文退化技能
社区 · Muratcan Koylan结合已验证事实和具体任务对照,诊断长上下文失败并制定恢复方案。Dev-Browser 技能
社区 · Sawyer Hood通过持久命名页面、Puppeteer 脚本和本地命令行服务自动操作 Chrome。工具设计技能
社区 · Muratcan Koylan为代理设计清晰的工具接口,说明输入、输出、选择时机和可恢复错误。Brainstorming 技能
社区 · Jesse Vincent / Prime Radiant在编写实现代码前,把初步想法整理为双方认可的设计。Writing Plans 技能
社区 · Jesse Vincent / Prime Radiant把已认可的设计转成可审阅的工程任务,明确接口与验证方式。