跳到主要内容

高级评测技能

通过基于证据的量表、交换顺序的成对比较和人工校准设计 LLM 裁判。

社区 · Muratcan Koylan
作者Muratcan Koylan
许可证MIT
来源muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub 上的 SKILL.md
适用于Claude Code · Codex、Gemini CLI、Cursor、Copilot
读取源文件日期

advanced-evaluation 技能为代理输出设计模型辅助评判。

它涵盖直接评分和成对比较,并明确量表、证据和偏差检查。Python 示例展示提示词结构与预期结果,不调用真实裁判。

摘自该技能的 SKILL.md: ## Gotchas

这是 Muratcan Koylan 发布的社区技能,未经我们或 Anthropic 审核。技能可以让智能体运行代码、读取文件或访问网络。安装前请阅读它的 SKILL.md 和文件夹中的每个脚本,留意任何与其声称用途不符的内容。

功能

  1. 根据任务选择直接评分或成对比较。
  2. 定义评分等级并要求判断有证据。
  3. 交换候选顺序,并使用人工标注校准。

产出内容

  • 裁判提示词、评分量表和偏差校准计划。

适用场景

  • 比较无法仅用确定性检查判断质量的输出。

不适用的场景

  • 把未校准的模型评分当作客观真相或有保证的概率。

所需条件

  • 需要能读取文件的代理、候选输出、任务标准和人工标注示例。
  • 实时评判需集成模型,可能产生服务费用。附带 Python 示例返回预先准备的结构,不调用真实模型。

技能包含的文件

文件或文件夹用途
SKILL.md裁判设计、成对比较和校准指导。
references/implementation-patterns.mdPython 示例,以及实现、偏差、指标和流水线参考指南。
scripts/evaluation_example.pyPython 示例,以及实现、偏差、指标和流水线参考指南。

2026-11-20 在仓库中查到的许可证:MIT。

示例提示词

安装后输入下面任意一条;在提示词中点名技能,可确保它被使用。

  • 为这些客服回答起草基于证据的评分量表。
  • 比较两种候选顺序,并将胜出者映射回原始身份。
  • 制定人工校准方案,并测试冗长偏差。

如何安装 advanced-evaluation

保持参考资料文件夹完整

复制完整技能目录。上下文工程插件会安装合集,不只安装这项裁判设计技能。

阅读或检查示例不需要服务商密钥。实时评测需真实裁判客户端和预算;此处未验证托管上传与 API 执行。

技能(Skill)是一个包含 SKILL.md 文件的文件夹。只需安装一次;智能体会在每次会话开始时读取它的简短描述,只有请求匹配时才加载完整说明。选择你使用的环境:

Claude Code:从插件市场安装

  1. 在终端中用 claude 启动 Claude Code。
  2. 添加插件市场(每台电脑一次):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. 安装插件。Claude Code 会先显示插件详情:确认它会添加哪些内容(技能、Hooks、MCP 服务器),然后选择安装给你自己、给该仓库的所有人,还是仅在该仓库中给你自己使用。
    /plugin install context-engineering@context-engineering-marketplace
  4. 输入 / 查找 /context-engineering:advanced-evaluation,或直接提出任务。

也可以不进入会话,直接在 shell 中运行:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

插件会整体安装,因此会附带其他技能,包括 context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops。

Claude Code:把文件夹复制到技能文件夹

把技能文件夹放到 ~/.claude/skills/,可在这台电脑的所有项目中使用;放到仓库内的 .claude/skills/,则与在该仓库工作的所有人共享(记得提交)。

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/

Claude Code 会在会话期间识别这些文件夹中新增或修改的技能。如果会话开始时技能文件夹还不存在,请运行一次 /reload-skills。然后输入 /advanced-evaluation,或直接描述任务。

在 Windows 上,请在 Git Bash 或 WSL 中运行这些命令,或用文件资源管理器把文件夹复制到同样的位置。

Codex、Gemini CLI、Cursor 和 GitHub Copilot

这些智能体读取同样的 SKILL.md 文件夹。四者在项目中都认可的文件夹是 .agents/skills/,所以下面的命令把技能复制到那里:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/
智能体项目文件夹用户文件夹说明
OpenAI Codex
.agents/skills/
~/.agents/skills/
输入 $ 或运行 /skills 来选择技能;当任务匹配时,Codex 也会自动选用。
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
也可以用 gemini skills install <git URL> --path <folder> --consent 从 Git 安装。2026 年 6 月 18 日起,Google 已用 Antigravity CLI 取代 Gemini CLI,面向免费层级和 Google One 用户;Antigravity 在项目中使用 .agents/skills/,个人使用 ~/.gemini/config/skills/。
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
在 Agent 聊天中输入 / 选择技能。Cursor 也会读取 Claude Code 的 .claude/skills/ 文件夹。
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
适用于 Copilot CLI、云端智能体,以及 VS Code、Visual Studio 和 JetBrains 中的智能体模式(IDE 支持取决于版本)。也可以运行 gh skill install OWNER/REPOSITORY SKILL(公开预览版,需 GitHub CLI 2.90.0 或更高版本)。
只安装你信任的技能. Anthropic 的建议是只使用可信来源的技能,其他技能在使用前要读完每个文件:技能可能以其描述中未提及的方式,指示智能体运行命令、读取文件或发送数据。

这些步骤的来源

已于 2026-11-14 对照各厂商的文档核实:

先看证据,再看总分

定义每个评分等级的含义,并要求支持性观察。先验证确定性约束,再让模型判断剩余质量问题。

为裁判输入和量表记录版本。即使候选输出不变,裁判模型变化也可能改变评分。

校准与分歧

评估与人工标注的一致性,采用适合任务的指标。未经测试校准的置信数值不能视为已校准概率。

检查分歧和偏差压力用例。重要或不一致的判断应交由人工审查,不要藏在一个平均分里。

关于 advanced-evaluation 的常见问题

Python 示例会调用 LLM 吗?

不会。它展示提示词、量表和预设输出结构。需要另行接入并验证真实模型客户端。

为什么要反转候选顺序?

位置可能影响评判。检查一致性前,先把结果映射回原始候选;结果矛盾时应审查或降低置信程度。

反转顺序能消除所有偏差吗?

不能。还应测试冗长、自我偏好和权威暗示,并与人工标注示例对比。

什么时候使用直接评分?

当明确的标准和评分等级有用时使用。成对比较适合相对偏好;两种方式都应按真实任务校准。

更多 AI 技能

相关技能

技能分类