Agent Evaluation スキル
決定的な検査、独立した品質指標、版管理した基準でエージェントの回帰テストを計画。
コミュニティ · Muratcan Koylan| 作者 | Muratcan Koylan |
|---|---|
| ライセンス | MIT |
| ソース | muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub 上の SKILL.md |
| 対応環境 | Claude Code · Codex、Gemini CLI、Cursor、Copilot |
| ソースを確認した日 |
evaluation スキルは、現実的なタスクでのエージェント動作に品質検査を設計します。
決定的な検証、独立した品質指標、人による確認を組み合わせます。裁判プロンプトと偏りの校正は advanced-evaluation が扱います。
スキルの SKILL.md より: ## Gotchas
できること
- 期待結果と決定的な検査を定義。
- 複雑度と予算を考慮した代表ケースを作成。
- 版管理した基準と比較して退行を調査。
得られるもの
- 評価基準、回帰ケース、品質判定を含む計画。
使う場面
- エージェント、ツール、文脈戦略の変更を再現可能に比較する場合。
向かない場面
- サンプルのスコアを事実確認や本番認証として扱う用途。
必要なもの
- ファイル対応エージェント、代表ケース、期待結果、実行記録が必要です。
- Python 例には仮のスコアと模擬出力が含まれます。実行器、検証器、必要な有料モデル連携は別途用意します。
スキルに含まれるファイル
| ファイル・フォルダー | 用途 |
|---|---|
SKILL.md | 評価指標、テスト設計、回帰の指針。 |
references/metrics.md | Python 評価器の例と指標の参考資料。 |
scripts/evaluator.py | Python 評価器の例と指標の参考資料。 |
2026-11-20 時点でリポジトリに記載されていたライセンス:MIT。
プロンプト例
インストール後に次のいずれかを入力してください。スキル名を書くと確実にそのスキルが使われます。
- この調査エージェントに引用チェック付き回帰テストを設計してください。
- 回答品質とツール利用効率を分けて報告してください。
- 人がラベル付けした基準ケースから品質判定を定義してください。
evaluation のインストール方法
例を実装の骨組みとして利用
SKILL.md と一緒に参考資料とスクリプトをコピーします。プラグインはコンテキスト工学のコレクションを導入します。
例は Python 標準ライブラリを使いますが実際のエージェントは動かしません。ホスト環境と API は未検証です。モデル検査には自分の提供元と予算を使います。
スキルは SKILL.md ファイルを含むフォルダーです。インストールは一度だけで、エージェントは各セッションの開始時に短い説明を読み、リクエストが当てはまったときにだけ完全な指示を読み込みます。使う環境を選んでください:
Claude Code:プラグインマーケットプレイスから
- ターミナルで
claudeを実行して Claude Code を起動します。 - マーケットプレイスを追加します(パソコンごとに 1 回):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - プラグインをインストールします。Claude Code はまず詳細を表示するので、追加されるもの(スキル、フック、MCP サーバー)を確認し、自分用、このリポジトリの全員用、このリポジトリでの自分用のどれにするかを選びます。
/plugin install context-engineering@context-engineering-marketplace - / を入力して
/context-engineering:evaluationを探すか、そのまま作業を依頼します。
セッション内ではなくシェルから行う場合:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceプラグインは丸ごとインストールされるため、context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops などほかのスキルも一緒に入ります。
Claude Code:スキルフォルダーにフォルダーをコピー
このパソコン上のすべてのプロジェクトで使うならスキルのフォルダーを ~/.claude/skills/ に、作業者全員で共有するならリポジトリ内の .claude/skills/ に置きます(コミットしてください)。
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/Claude Code はセッション中にこれらのフォルダーで新しいスキルや変更されたスキルを検出します。セッション開始時にスキルフォルダーが存在しなかった場合は、/reload-skills を一度実行してください。その後 /evaluation と入力するか、作業内容をそのまま伝えます。
Windows では Git Bash または WSL でコマンドを実行するか、エクスプローラーで同じ場所にフォルダーをコピーしてください。
Codex、Gemini CLI、Cursor、GitHub Copilot
これらのエージェントも同じ SKILL.md フォルダーを読みます。4 つすべてがプロジェクト内で読むフォルダーは .agents/skills/ なので、次のコマンドでスキルをそこにコピーします:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/| エージェント | プロジェクトのフォルダー | ユーザーのフォルダー | メモ |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | $ と入力するか /skills を実行してスキルを選びます。タスクが当てはまれば Codex が自動で選ぶこともあります。 |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | または gemini skills install <git URL> --path <folder> --consent で Git からインストールします。Google は 2026 年 6 月 18 日、無料枠と Google One のユーザー向けに Gemini CLI を Antigravity CLI に置き換えました。Antigravity はプロジェクトでは .agents/skills/、ユーザー用には ~/.gemini/config/skills/ を使います。 |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Agent チャットで / を入力してスキルを選びます。Cursor は Claude Code の .claude/skills/ フォルダーも読みます。 |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Copilot CLI、クラウドエージェント、VS Code・Visual Studio・JetBrains のエージェントモードで動きます(IDE の対応はバージョンによります)。または gh skill install OWNER/REPOSITORY SKILL を実行します(パブリックプレビュー、GitHub CLI 2.90.0 以降)。 |
これらの手順の出典
2026-11-14 に各ベンダーのドキュメントと照合しました:
独立した品質指標
正確さ、完全性、出典の裏付け、ツール動作を分けて示します。加重合計では重大な一項目の失敗が隠れる場合があります。
形式と制約を先に機械的に確認します。残る問題に人の抜き取り確認と校正済みモデル裁判を使います。
再現可能な回帰プロセス
ケース、プロンプト、モデル、採点規則を版管理します。簡単な例だけでなく、現実的な予算と難しいケースを含めます。
監視計画は稼働済みサービスではありません。実際のシステムに記録収集、抽出、保持、エスカレーションを実装します。
evaluation に関するよくある質問
スクリプトが自動で自分のエージェントを動かしますか?
いいえ。例の実行器は模擬出力を返します。実際のエージェントを接続し、結果を集めてから比較します。
引用があれば正しいと分かりますか?
いいえ。文字パターンは出典の存在、関連性、事実の裏付けを検証しません。
成功時のツール順序は一つに固定しますか?
通常は成果と制約を評価します。同じタスクを複数の有効な経路で解決できます。
例の合格閾値は共通基準ですか?
いいえ。リスク、人のラベル、実測基準から決めます。例は認証規格ではありません。
ほかの AI スキル
関連スキル
Dev-Browser スキル
コミュニティ · Sawyer Hood永続的な名前付きページ、Puppeteer スクリプト、ローカル CLI サービスで Chrome を自動操作。Context Degradation スキル
コミュニティ · Muratcan Koylan検証済みの事実とタスク別の比較から、長文コンテキストの失敗と復旧方法を診断。Tool Design スキル
コミュニティ · Muratcan Koylan入力、出力、選択条件、復旧可能なエラーを明記したエージェント用ツール契約を設計。Advanced Evaluation スキル
コミュニティ · Muratcan Koylan証拠に基づく評価基準、順序を入れ替える比較、人による校正で LLM 裁判を設計。Brainstormingスキル
コミュニティ · Jesse Vincent / Prime Radiantコードを書く前に、初期アイデアを合意済みの設計へ整理します。Writing Plansスキル
コミュニティ · Jesse Vincent / Prime Radiant承認済み設計を、インターフェースと検証付きのレビュー可能なタスクに変換。