コンテンツへスキップ

Agent Evaluation スキル

決定的な検査、独立した品質指標、版管理した基準でエージェントの回帰テストを計画。

コミュニティ · Muratcan Koylan
作者Muratcan Koylan
ライセンスMIT
ソースmuratcankoylan/Agent-Skills-for-Context-Engineering · GitHub 上の SKILL.md
対応環境Claude Code · Codex、Gemini CLI、Cursor、Copilot
ソースを確認した日

evaluation スキルは、現実的なタスクでのエージェント動作に品質検査を設計します。

決定的な検証、独立した品質指標、人による確認を組み合わせます。裁判プロンプトと偏りの校正は advanced-evaluation が扱います。

スキルの SKILL.md より: ## Gotchas

これは Muratcan Koylan によるコミュニティスキルで、当サイトや Anthropic による確認は受けていません。スキルはエージェントにコードの実行、ファイルの読み取り、ネットワークへのアクセスを指示できます。インストール前に SKILL.md とフォルダー内のすべてのスクリプトを読み、説明と食い違う動作がないか確認してください。

できること

  1. 期待結果と決定的な検査を定義。
  2. 複雑度と予算を考慮した代表ケースを作成。
  3. 版管理した基準と比較して退行を調査。

得られるもの

  • 評価基準、回帰ケース、品質判定を含む計画。

使う場面

  • エージェント、ツール、文脈戦略の変更を再現可能に比較する場合。

向かない場面

  • サンプルのスコアを事実確認や本番認証として扱う用途。

必要なもの

  • ファイル対応エージェント、代表ケース、期待結果、実行記録が必要です。
  • Python 例には仮のスコアと模擬出力が含まれます。実行器、検証器、必要な有料モデル連携は別途用意します。

スキルに含まれるファイル

ファイル・フォルダー用途
SKILL.md評価指標、テスト設計、回帰の指針。
references/metrics.mdPython 評価器の例と指標の参考資料。
scripts/evaluator.pyPython 評価器の例と指標の参考資料。

2026-11-20 時点でリポジトリに記載されていたライセンス:MIT。

プロンプト例

インストール後に次のいずれかを入力してください。スキル名を書くと確実にそのスキルが使われます。

  • この調査エージェントに引用チェック付き回帰テストを設計してください。
  • 回答品質とツール利用効率を分けて報告してください。
  • 人がラベル付けした基準ケースから品質判定を定義してください。

evaluation のインストール方法

例を実装の骨組みとして利用

SKILL.md と一緒に参考資料とスクリプトをコピーします。プラグインはコンテキスト工学のコレクションを導入します。

例は Python 標準ライブラリを使いますが実際のエージェントは動かしません。ホスト環境と API は未検証です。モデル検査には自分の提供元と予算を使います。

スキルは SKILL.md ファイルを含むフォルダーです。インストールは一度だけで、エージェントは各セッションの開始時に短い説明を読み、リクエストが当てはまったときにだけ完全な指示を読み込みます。使う環境を選んでください:

Claude Code:プラグインマーケットプレイスから

  1. ターミナルで claude を実行して Claude Code を起動します。
  2. マーケットプレイスを追加します(パソコンごとに 1 回):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. プラグインをインストールします。Claude Code はまず詳細を表示するので、追加されるもの(スキル、フック、MCP サーバー)を確認し、自分用、このリポジトリの全員用、このリポジトリでの自分用のどれにするかを選びます。
    /plugin install context-engineering@context-engineering-marketplace
  4. / を入力して /context-engineering:evaluation を探すか、そのまま作業を依頼します。

セッション内ではなくシェルから行う場合:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

プラグインは丸ごとインストールされるため、context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops などほかのスキルも一緒に入ります。

Claude Code:スキルフォルダーにフォルダーをコピー

このパソコン上のすべてのプロジェクトで使うならスキルのフォルダーを ~/.claude/skills/ に、作業者全員で共有するならリポジトリ内の .claude/skills/ に置きます(コミットしてください)。

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/

Claude Code はセッション中にこれらのフォルダーで新しいスキルや変更されたスキルを検出します。セッション開始時にスキルフォルダーが存在しなかった場合は、/reload-skills を一度実行してください。その後 /evaluation と入力するか、作業内容をそのまま伝えます。

Windows では Git Bash または WSL でコマンドを実行するか、エクスプローラーで同じ場所にフォルダーをコピーしてください。

Codex、Gemini CLI、Cursor、GitHub Copilot

これらのエージェントも同じ SKILL.md フォルダーを読みます。4 つすべてがプロジェクト内で読むフォルダーは .agents/skills/ なので、次のコマンドでスキルをそこにコピーします:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/
エージェントプロジェクトのフォルダーユーザーのフォルダーメモ
OpenAI Codex
.agents/skills/
~/.agents/skills/
$ と入力するか /skills を実行してスキルを選びます。タスクが当てはまれば Codex が自動で選ぶこともあります。
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
または gemini skills install <git URL> --path <folder> --consent で Git からインストールします。Google は 2026 年 6 月 18 日、無料枠と Google One のユーザー向けに Gemini CLI を Antigravity CLI に置き換えました。Antigravity はプロジェクトでは .agents/skills/、ユーザー用には ~/.gemini/config/skills/ を使います。
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Agent チャットで / を入力してスキルを選びます。Cursor は Claude Code の .claude/skills/ フォルダーも読みます。
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Copilot CLI、クラウドエージェント、VS Code・Visual Studio・JetBrains のエージェントモードで動きます(IDE の対応はバージョンによります)。または gh skill install OWNER/REPOSITORY SKILL を実行します(パブリックプレビュー、GitHub CLI 2.90.0 以降)。
信頼できるスキルだけをインストールする. Anthropic は、信頼できる入手元のスキルだけを使い、それ以外のスキルは使う前にすべてのファイルを読むよう勧めています。スキルは、説明に書かれていない方法でエージェントにコマンドの実行、ファイルの読み取り、データの送信を指示できるからです。

これらの手順の出典

2026-11-14 に各ベンダーのドキュメントと照合しました:

独立した品質指標

正確さ、完全性、出典の裏付け、ツール動作を分けて示します。加重合計では重大な一項目の失敗が隠れる場合があります。

形式と制約を先に機械的に確認します。残る問題に人の抜き取り確認と校正済みモデル裁判を使います。

再現可能な回帰プロセス

ケース、プロンプト、モデル、採点規則を版管理します。簡単な例だけでなく、現実的な予算と難しいケースを含めます。

監視計画は稼働済みサービスではありません。実際のシステムに記録収集、抽出、保持、エスカレーションを実装します。

evaluation に関するよくある質問

スクリプトが自動で自分のエージェントを動かしますか?

いいえ。例の実行器は模擬出力を返します。実際のエージェントを接続し、結果を集めてから比較します。

引用があれば正しいと分かりますか?

いいえ。文字パターンは出典の存在、関連性、事実の裏付けを検証しません。

成功時のツール順序は一つに固定しますか?

通常は成果と制約を評価します。同じタスクを複数の有効な経路で解決できます。

例の合格閾値は共通基準ですか?

いいえ。リスク、人のラベル、実測基準から決めます。例は認証規格ではありません。

ほかの AI スキル

関連スキル

スキルのカテゴリー