Aller au contenu

Skill Agent Evaluation

Planifiez des régressions avec contrôles déterministes, dimensions séparées et références versionnées.

Communauté · Muratcan Koylan
AuteurMuratcan Koylan
LicenceMIT
Sourcemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md sur GitHub
Fonctionne dansClaude Code · Codex, Gemini CLI, Cursor, Copilot
Lu à la source le

Le skill evaluation conçoit des contrôles de qualité pour les agents sur des tâches réalistes.

Il combine validation déterministe, dimensions distinctes et revue humaine. Le skill advanced-evaluation traite les prompts du juge et ses biais.

Extrait du SKILL.md du skill : ## Gotchas

Ceci est un skill de la communauté créé par Muratcan Koylan, vérifié ni par nous ni par Anthropic. Un skill peut demander à l’agent d’exécuter du code, de lire des fichiers ou d’accéder au réseau. Avant de l’installer, lisez son SKILL.md et chaque script du dossier, et cherchez tout ce qui ne correspond pas à ce qu’il prétend faire.

Ce qu’il fait

  1. Définir résultats attendus et contrôles déterministes.
  2. Créer des cas représentatifs de complexités et budgets variés.
  3. Comparer les références versionnées et examiner les régressions.

Ce que vous obtenez

  • Un plan avec grilles, cas de régression et seuils de qualité.

Quand l’utiliser

  • Comparer de façon répétable une modification d’agent, d’outils ou de contexte.

Quand ne pas l’utiliser

  • Prendre un score d’exemple pour une vérification factuelle ou une certification de production.

Ce qu’il faut

  • Un agent lisant les fichiers, des cas représentatifs, des résultats attendus et des traces.
  • L’exemple Python contient des scores provisoires et des sorties simulées. Fournissez un vrai exécuteur, les vérificateurs et toute intégration de modèle payant.

Fichiers du skill

Fichier ou dossierÀ quoi il sert
SKILL.mdDimensions d’évaluation, conception de tests et régressions.
references/metrics.mdExemple d’évaluateur Python et guide des métriques.
scripts/evaluator.pyExemple d’évaluateur Python et guide des métriques.

Licence trouvée dans le dépôt le 2026-11-20 : MIT.

Exemples de prompts

Tapez l’un de ces prompts après l’installation ; nommer le skill garantit qu’il sera utilisé.

  • Conçois des régressions pour cet agent de recherche avec vérification des citations.
  • Sépare qualité de réponse et efficacité des outils dans le rapport.
  • Définis un seuil de qualité à partir de nos cas annotés par des humains.

Comment installer evaluation

Utiliser les exemples comme base

Copiez références et scripts avec SKILL.md. Le plugin installe la collection d’ingénierie du contexte.

L’exemple utilise la bibliothèque standard Python, sans exécuter de vrai agent. Téléversement hébergé et API non vérifiés ; les modèles utilisent votre fournisseur et budget.

Un skill est un dossier contenant un fichier SKILL.md. Vous l’installez une fois ; l’agent lit sa courte description au début de chaque session et ne charge les instructions complètes que si une demande correspond. Choisissez l’environnement que vous utilisez :

Claude Code : depuis la marketplace de plugins

  1. Lancez Claude Code dans un terminal avec claude.
  2. Ajoutez la marketplace (une fois par ordinateur) :
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Installez le plugin. Claude Code affiche d’abord ses détails : vérifiez ce qu’il va ajouter (skills, hooks, serveurs MCP), puis choisissez s’il est pour vous, pour toutes les personnes de ce dépôt, ou pour vous seul dans ce dépôt.
    /plugin install context-engineering@context-engineering-marketplace
  4. Tapez / et cherchez /context-engineering:evaluation, ou demandez simplement la tâche.

Depuis votre shell plutôt que dans une session :

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

Le plugin s’installe en bloc : d’autres skills sont donc installés avec lui, dont context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code : copier le dossier dans votre dossier de skills

Placez le dossier du skill dans ~/.claude/skills/ pour l’utiliser dans tous les projets de cet ordinateur, ou dans .claude/skills/ à l’intérieur d’un dépôt pour le partager avec toutes les personnes qui y travaillent (committez-le).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/

Claude Code détecte pendant la session les skills nouveaux ou modifiés dans ces dossiers. Si le dossier de skills n’existait pas au démarrage de la session, lancez /reload-skills une fois. Tapez ensuite /evaluation ou décrivez simplement la tâche.

Sous Windows, lancez les commandes dans Git Bash ou WSL, ou copiez le dossier au même endroit avec l’Explorateur de fichiers.

Codex, Gemini CLI, Cursor et GitHub Copilot

Ces agents lisent les mêmes dossiers SKILL.md. Le seul dossier que les quatre acceptent dans un projet est .agents/skills/ ; cette commande y copie donc le skill :

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/
AgentDossier du projetVotre dossier utilisateurRemarques
OpenAI Codex
.agents/skills/
~/.agents/skills/
Tapez $ ou lancez /skills pour choisir un skill ; Codex en choisit aussi un quand votre tâche correspond.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
Ou installez-le depuis Git avec gemini skills install <git URL> --path <folder> --consent. Le 18 juin 2026, Google a remplacé Gemini CLI par Antigravity CLI pour les utilisateurs de l’offre gratuite et de Google One ; Antigravity utilise .agents/skills/ dans un projet et ~/.gemini/config/skills/ pour vous.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Tapez / dans le chat Agent pour choisir un skill. Cursor lit aussi les dossiers .claude/skills/ de Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Fonctionne dans Copilot CLI, l’agent cloud et le mode agent de VS Code, Visual Studio et JetBrains (la prise en charge dans l’IDE dépend de la version). Ou lancez gh skill install OWNER/REPOSITORY SKILL (préversion publique, GitHub CLI 2.90.0 ou ultérieure).
N’installez que des skills de confiance. Anthropic conseille de n’utiliser que des skills provenant de sources de confiance, et de lire chaque fichier de tout autre skill avant de l’utiliser : un skill peut amener l’agent à exécuter des commandes, lire des fichiers ou envoyer des données d’une manière que sa description ne mentionne pas.

Sources de ces étapes

Vérifiées dans la documentation de chaque éditeur le 2026-11-14 :

Dimensions de qualité indépendantes

Rapportez séparément exactitude, exhaustivité, sources et comportement des outils. Un total pondéré peut masquer un échec critique.

Commencez par formats et contraintes déterministes. Utilisez échantillonnage humain et juges calibrés pour les autres questions.

Un processus de régression reproductible

Versionnez cas, prompts, modèles et règles de notation. Incluez budgets réalistes et cas difficiles, pas seulement des exemples faciles.

Un plan de suivi n’est pas un service déployé. Implémentez collecte des traces, échantillonnage, conservation et escalade dans le système réel.

Questions sur evaluation

Le script exécute-t-il automatiquement mon agent ?

Non. L’exécuteur d’exemple produit des sorties simulées. Branchez votre agent et collectez de vrais résultats avant de comparer.

Trouver une citation prouve-t-il sa validité ?

Non. Les motifs textuels ne vérifient ni existence de la source, ni pertinence, ni soutien factuel.

Chaque réussite doit-elle suivre la même séquence d’outils ?

Évaluez généralement résultats et contraintes. Plusieurs chemins valides peuvent résoudre la même tâche.

Les seuils d’exemple sont-ils universels ?

Non. Fixez-les selon risques, annotations humaines et référence mesurée ; ce ne sont pas des normes de certification.

Plus de skills IA

Skills similaires

Catégories de skills