Advanced Evaluation スキル
証拠に基づく評価基準、順序を入れ替える比較、人による校正で LLM 裁判を設計。
コミュニティ · Muratcan Koylan| 作者 | Muratcan Koylan |
|---|---|
| ライセンス | MIT |
| ソース | muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub 上の SKILL.md |
| 対応環境 | Claude Code · Codex、Gemini CLI、Cursor、Copilot |
| ソースを確認した日 |
advanced-evaluation スキルは、エージェント出力をモデルで補助評価する方法を設計します。
直接採点とペア比較を扱い、基準、証拠、偏り検査を明確にします。Python 例は構造を示すもので、実際の裁判モデルを呼びません。
スキルの SKILL.md より: ## Gotchas
できること
- タスクに合う直接採点かペア比較を選択。
- 採点段階を定義し、判断の証拠を要求。
- 候補順を入れ替え、人のラベルで校正。
得られるもの
- 裁判プロンプト、採点基準、偏り校正の計画。
使う場面
- 決定的な検査だけでは品質を判断できない出力の比較。
向かない場面
- 未校正のモデル点数を客観的真実や保証された確率とみなす用途。
必要なもの
- ファイル対応エージェント、候補出力、タスク固有基準、人がラベル付けした例が必要です。
- 実際の評価にはモデル連携が必要で利用料が生じる場合があります。Python 例は準備済み構造を返し、モデルを呼びません。
スキルに含まれるファイル
| ファイル・フォルダー | 用途 |
|---|---|
SKILL.md | 裁判設計、ペア比較、校正の指針。 |
references/implementation-patterns.md | Python 例と、実装・偏り・指標・パイプラインの参考資料。 |
scripts/evaluation_example.py | Python 例と、実装・偏り・指標・パイプラインの参考資料。 |
2026-11-20 時点でリポジトリに記載されていたライセンス:MIT。
プロンプト例
インストール後に次のいずれかを入力してください。スキル名を書くと確実にそのスキルが使われます。
- これらのサポート回答に証拠付き評価基準を作ってください。
- 両方の候補順を比較し、勝者を元の候補 ID に戻してください。
- 人による校正と冗長さの偏りテストを計画してください。
advanced-evaluation のインストール方法
参考資料フォルダを保持
スキルの全ディレクトリをコピーします。プラグインはこのスキルだけでなくコレクション全体を導入します。
例の閲覧に提供元の鍵は不要です。実評価にはクライアントと予算を用意します。ホスト環境へのアップロードと API は未検証です。
スキルは SKILL.md ファイルを含むフォルダーです。インストールは一度だけで、エージェントは各セッションの開始時に短い説明を読み、リクエストが当てはまったときにだけ完全な指示を読み込みます。使う環境を選んでください:
Claude Code:プラグインマーケットプレイスから
- ターミナルで
claudeを実行して Claude Code を起動します。 - マーケットプレイスを追加します(パソコンごとに 1 回):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - プラグインをインストールします。Claude Code はまず詳細を表示するので、追加されるもの(スキル、フック、MCP サーバー)を確認し、自分用、このリポジトリの全員用、このリポジトリでの自分用のどれにするかを選びます。
/plugin install context-engineering@context-engineering-marketplace - / を入力して
/context-engineering:advanced-evaluationを探すか、そのまま作業を依頼します。
セッション内ではなくシェルから行う場合:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceプラグインは丸ごとインストールされるため、context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops などほかのスキルも一緒に入ります。
Claude Code:スキルフォルダーにフォルダーをコピー
このパソコン上のすべてのプロジェクトで使うならスキルのフォルダーを ~/.claude/skills/ に、作業者全員で共有するならリポジトリ内の .claude/skills/ に置きます(コミットしてください)。
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/Claude Code はセッション中にこれらのフォルダーで新しいスキルや変更されたスキルを検出します。セッション開始時にスキルフォルダーが存在しなかった場合は、/reload-skills を一度実行してください。その後 /advanced-evaluation と入力するか、作業内容をそのまま伝えます。
Windows では Git Bash または WSL でコマンドを実行するか、エクスプローラーで同じ場所にフォルダーをコピーしてください。
Codex、Gemini CLI、Cursor、GitHub Copilot
これらのエージェントも同じ SKILL.md フォルダーを読みます。4 つすべてがプロジェクト内で読むフォルダーは .agents/skills/ なので、次のコマンドでスキルをそこにコピーします:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/| エージェント | プロジェクトのフォルダー | ユーザーのフォルダー | メモ |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | $ と入力するか /skills を実行してスキルを選びます。タスクが当てはまれば Codex が自動で選ぶこともあります。 |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | または gemini skills install <git URL> --path <folder> --consent で Git からインストールします。Google は 2026 年 6 月 18 日、無料枠と Google One のユーザー向けに Gemini CLI を Antigravity CLI に置き換えました。Antigravity はプロジェクトでは .agents/skills/、ユーザー用には ~/.gemini/config/skills/ を使います。 |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Agent チャットで / を入力してスキルを選びます。Cursor は Claude Code の .claude/skills/ フォルダーも読みます。 |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Copilot CLI、クラウドエージェント、VS Code・Visual Studio・JetBrains のエージェントモードで動きます(IDE の対応はバージョンによります)。または gh skill install OWNER/REPOSITORY SKILL を実行します(パブリックプレビュー、GitHub CLI 2.90.0 以降)。 |
これらの手順の出典
2026-11-14 に各ベンダーのドキュメントと照合しました:
合計点より先に証拠
段階ごとの意味を定義し、根拠となる観察を求めます。決定的な制約を先に検証してから残りをモデルに判定させます。
裁判入力と評価基準を版管理します。候補出力が同じでも裁判モデルの変更で点数が変わる場合があります。
校正と不一致
適切な指標で人のラベルとの一致を評価します。検証なしの信頼度は校正済み確率ではありません。
不一致と偏りテストを確認します。重要な判断や矛盾した判断を平均に隠さず、人の確認へ回します。
advanced-evaluation に関するよくある質問
Python 例は LLM を呼びますか?
いいえ。プロンプト、基準、用意した出力構造を示します。本物のモデルクライアントを別途接続して検証します。
なぜ候補順を反転しますか?
位置が判断に影響する場合があります。元の候補に結果を戻してから一致を確認し、矛盾は再確認や信頼度低下で扱います。
順序の反転ですべての偏りを消せますか?
いいえ。冗長さ、自己優遇、権威の手掛かりも検査し、人のラベルと比較します。
直接採点を使うのはいつですか?
明確な基準と段階が役立つ場合です。相対的な好みにはペア比較が使えます。どちらも実際のタスクで校正します。
ほかの AI スキル
関連スキル
Agent Evaluation スキル
コミュニティ · Muratcan Koylan決定的な検査、独立した品質指標、版管理した基準でエージェントの回帰テストを計画。Context Degradation スキル
コミュニティ · Muratcan Koylan検証済みの事実とタスク別の比較から、長文コンテキストの失敗と復旧方法を診断。Dev-Browser スキル
コミュニティ · Sawyer Hood永続的な名前付きページ、Puppeteer スクリプト、ローカル CLI サービスで Chrome を自動操作。Tool Design スキル
コミュニティ · Muratcan Koylan入力、出力、選択条件、復旧可能なエラーを明記したエージェント用ツール契約を設計。Brainstormingスキル
コミュニティ · Jesse Vincent / Prime Radiantコードを書く前に、初期アイデアを合意済みの設計へ整理します。Writing Plansスキル
コミュニティ · Jesse Vincent / Prime Radiant承認済み設計を、インターフェースと検証付きのレビュー可能なタスクに変換。