コンテンツへスキップ

Advanced Evaluation スキル

証拠に基づく評価基準、順序を入れ替える比較、人による校正で LLM 裁判を設計。

コミュニティ · Muratcan Koylan
作者Muratcan Koylan
ライセンスMIT
ソースmuratcankoylan/Agent-Skills-for-Context-Engineering · GitHub 上の SKILL.md
対応環境Claude Code · Codex、Gemini CLI、Cursor、Copilot
ソースを確認した日

advanced-evaluation スキルは、エージェント出力をモデルで補助評価する方法を設計します。

直接採点とペア比較を扱い、基準、証拠、偏り検査を明確にします。Python 例は構造を示すもので、実際の裁判モデルを呼びません。

スキルの SKILL.md より: ## Gotchas

これは Muratcan Koylan によるコミュニティスキルで、当サイトや Anthropic による確認は受けていません。スキルはエージェントにコードの実行、ファイルの読み取り、ネットワークへのアクセスを指示できます。インストール前に SKILL.md とフォルダー内のすべてのスクリプトを読み、説明と食い違う動作がないか確認してください。

できること

  1. タスクに合う直接採点かペア比較を選択。
  2. 採点段階を定義し、判断の証拠を要求。
  3. 候補順を入れ替え、人のラベルで校正。

得られるもの

  • 裁判プロンプト、採点基準、偏り校正の計画。

使う場面

  • 決定的な検査だけでは品質を判断できない出力の比較。

向かない場面

  • 未校正のモデル点数を客観的真実や保証された確率とみなす用途。

必要なもの

  • ファイル対応エージェント、候補出力、タスク固有基準、人がラベル付けした例が必要です。
  • 実際の評価にはモデル連携が必要で利用料が生じる場合があります。Python 例は準備済み構造を返し、モデルを呼びません。

スキルに含まれるファイル

ファイル・フォルダー用途
SKILL.md裁判設計、ペア比較、校正の指針。
references/implementation-patterns.mdPython 例と、実装・偏り・指標・パイプラインの参考資料。
scripts/evaluation_example.pyPython 例と、実装・偏り・指標・パイプラインの参考資料。

2026-11-20 時点でリポジトリに記載されていたライセンス:MIT。

プロンプト例

インストール後に次のいずれかを入力してください。スキル名を書くと確実にそのスキルが使われます。

  • これらのサポート回答に証拠付き評価基準を作ってください。
  • 両方の候補順を比較し、勝者を元の候補 ID に戻してください。
  • 人による校正と冗長さの偏りテストを計画してください。

advanced-evaluation のインストール方法

参考資料フォルダを保持

スキルの全ディレクトリをコピーします。プラグインはこのスキルだけでなくコレクション全体を導入します。

例の閲覧に提供元の鍵は不要です。実評価にはクライアントと予算を用意します。ホスト環境へのアップロードと API は未検証です。

スキルは SKILL.md ファイルを含むフォルダーです。インストールは一度だけで、エージェントは各セッションの開始時に短い説明を読み、リクエストが当てはまったときにだけ完全な指示を読み込みます。使う環境を選んでください:

Claude Code:プラグインマーケットプレイスから

  1. ターミナルで claude を実行して Claude Code を起動します。
  2. マーケットプレイスを追加します(パソコンごとに 1 回):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. プラグインをインストールします。Claude Code はまず詳細を表示するので、追加されるもの(スキル、フック、MCP サーバー)を確認し、自分用、このリポジトリの全員用、このリポジトリでの自分用のどれにするかを選びます。
    /plugin install context-engineering@context-engineering-marketplace
  4. / を入力して /context-engineering:advanced-evaluation を探すか、そのまま作業を依頼します。

セッション内ではなくシェルから行う場合:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

プラグインは丸ごとインストールされるため、context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops などほかのスキルも一緒に入ります。

Claude Code:スキルフォルダーにフォルダーをコピー

このパソコン上のすべてのプロジェクトで使うならスキルのフォルダーを ~/.claude/skills/ に、作業者全員で共有するならリポジトリ内の .claude/skills/ に置きます(コミットしてください)。

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/

Claude Code はセッション中にこれらのフォルダーで新しいスキルや変更されたスキルを検出します。セッション開始時にスキルフォルダーが存在しなかった場合は、/reload-skills を一度実行してください。その後 /advanced-evaluation と入力するか、作業内容をそのまま伝えます。

Windows では Git Bash または WSL でコマンドを実行するか、エクスプローラーで同じ場所にフォルダーをコピーしてください。

Codex、Gemini CLI、Cursor、GitHub Copilot

これらのエージェントも同じ SKILL.md フォルダーを読みます。4 つすべてがプロジェクト内で読むフォルダーは .agents/skills/ なので、次のコマンドでスキルをそこにコピーします:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/
エージェントプロジェクトのフォルダーユーザーのフォルダーメモ
OpenAI Codex
.agents/skills/
~/.agents/skills/
$ と入力するか /skills を実行してスキルを選びます。タスクが当てはまれば Codex が自動で選ぶこともあります。
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
または gemini skills install <git URL> --path <folder> --consent で Git からインストールします。Google は 2026 年 6 月 18 日、無料枠と Google One のユーザー向けに Gemini CLI を Antigravity CLI に置き換えました。Antigravity はプロジェクトでは .agents/skills/、ユーザー用には ~/.gemini/config/skills/ を使います。
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Agent チャットで / を入力してスキルを選びます。Cursor は Claude Code の .claude/skills/ フォルダーも読みます。
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Copilot CLI、クラウドエージェント、VS Code・Visual Studio・JetBrains のエージェントモードで動きます(IDE の対応はバージョンによります)。または gh skill install OWNER/REPOSITORY SKILL を実行します(パブリックプレビュー、GitHub CLI 2.90.0 以降)。
信頼できるスキルだけをインストールする. Anthropic は、信頼できる入手元のスキルだけを使い、それ以外のスキルは使う前にすべてのファイルを読むよう勧めています。スキルは、説明に書かれていない方法でエージェントにコマンドの実行、ファイルの読み取り、データの送信を指示できるからです。

これらの手順の出典

2026-11-14 に各ベンダーのドキュメントと照合しました:

合計点より先に証拠

段階ごとの意味を定義し、根拠となる観察を求めます。決定的な制約を先に検証してから残りをモデルに判定させます。

裁判入力と評価基準を版管理します。候補出力が同じでも裁判モデルの変更で点数が変わる場合があります。

校正と不一致

適切な指標で人のラベルとの一致を評価します。検証なしの信頼度は校正済み確率ではありません。

不一致と偏りテストを確認します。重要な判断や矛盾した判断を平均に隠さず、人の確認へ回します。

advanced-evaluation に関するよくある質問

Python 例は LLM を呼びますか?

いいえ。プロンプト、基準、用意した出力構造を示します。本物のモデルクライアントを別途接続して検証します。

なぜ候補順を反転しますか?

位置が判断に影響する場合があります。元の候補に結果を戻してから一致を確認し、矛盾は再確認や信頼度低下で扱います。

順序の反転ですべての偏りを消せますか?

いいえ。冗長さ、自己優遇、権威の手掛かりも検査し、人のラベルと比較します。

直接採点を使うのはいつですか?

明確な基準と段階が役立つ場合です。相対的な好みにはペア比較が使えます。どちらも実際のタスクで校正します。

ほかの AI スキル

関連スキル

スキルのカテゴリー