Skill Agent Evaluation
Planifiez des régressions avec contrôles déterministes, dimensions séparées et références versionnées.
Communauté · Muratcan Koylan| Auteur | Muratcan Koylan |
|---|---|
| Licence | MIT |
| Source | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md sur GitHub |
| Fonctionne dans | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Lu à la source le |
Le skill evaluation conçoit des contrôles de qualité pour les agents sur des tâches réalistes.
Il combine validation déterministe, dimensions distinctes et revue humaine. Le skill advanced-evaluation traite les prompts du juge et ses biais.
Extrait du SKILL.md du skill : ## Gotchas
Ce qu’il fait
- Définir résultats attendus et contrôles déterministes.
- Créer des cas représentatifs de complexités et budgets variés.
- Comparer les références versionnées et examiner les régressions.
Ce que vous obtenez
- Un plan avec grilles, cas de régression et seuils de qualité.
Quand l’utiliser
- Comparer de façon répétable une modification d’agent, d’outils ou de contexte.
Quand ne pas l’utiliser
- Prendre un score d’exemple pour une vérification factuelle ou une certification de production.
Ce qu’il faut
- Un agent lisant les fichiers, des cas représentatifs, des résultats attendus et des traces.
- L’exemple Python contient des scores provisoires et des sorties simulées. Fournissez un vrai exécuteur, les vérificateurs et toute intégration de modèle payant.
Fichiers du skill
| Fichier ou dossier | À quoi il sert |
|---|---|
SKILL.md | Dimensions d’évaluation, conception de tests et régressions. |
references/metrics.md | Exemple d’évaluateur Python et guide des métriques. |
scripts/evaluator.py | Exemple d’évaluateur Python et guide des métriques. |
Licence trouvée dans le dépôt le 2026-11-20 : MIT.
Exemples de prompts
Tapez l’un de ces prompts après l’installation ; nommer le skill garantit qu’il sera utilisé.
- Conçois des régressions pour cet agent de recherche avec vérification des citations.
- Sépare qualité de réponse et efficacité des outils dans le rapport.
- Définis un seuil de qualité à partir de nos cas annotés par des humains.
Comment installer evaluation
Utiliser les exemples comme base
Copiez références et scripts avec SKILL.md. Le plugin installe la collection d’ingénierie du contexte.
L’exemple utilise la bibliothèque standard Python, sans exécuter de vrai agent. Téléversement hébergé et API non vérifiés ; les modèles utilisent votre fournisseur et budget.
Un skill est un dossier contenant un fichier SKILL.md. Vous l’installez une fois ; l’agent lit sa courte description au début de chaque session et ne charge les instructions complètes que si une demande correspond. Choisissez l’environnement que vous utilisez :
Claude Code : depuis la marketplace de plugins
- Lancez Claude Code dans un terminal avec
claude. - Ajoutez la marketplace (une fois par ordinateur) :
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Installez le plugin. Claude Code affiche d’abord ses détails : vérifiez ce qu’il va ajouter (skills, hooks, serveurs MCP), puis choisissez s’il est pour vous, pour toutes les personnes de ce dépôt, ou pour vous seul dans ce dépôt.
/plugin install context-engineering@context-engineering-marketplace - Tapez / et cherchez
/context-engineering:evaluation, ou demandez simplement la tâche.
Depuis votre shell plutôt que dans une session :
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceLe plugin s’installe en bloc : d’autres skills sont donc installés avec lui, dont context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code : copier le dossier dans votre dossier de skills
Placez le dossier du skill dans ~/.claude/skills/ pour l’utiliser dans tous les projets de cet ordinateur, ou dans .claude/skills/ à l’intérieur d’un dépôt pour le partager avec toutes les personnes qui y travaillent (committez-le).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/Claude Code détecte pendant la session les skills nouveaux ou modifiés dans ces dossiers. Si le dossier de skills n’existait pas au démarrage de la session, lancez /reload-skills une fois. Tapez ensuite /evaluation ou décrivez simplement la tâche.
Sous Windows, lancez les commandes dans Git Bash ou WSL, ou copiez le dossier au même endroit avec l’Explorateur de fichiers.
Codex, Gemini CLI, Cursor et GitHub Copilot
Ces agents lisent les mêmes dossiers SKILL.md. Le seul dossier que les quatre acceptent dans un projet est .agents/skills/ ; cette commande y copie donc le skill :
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/| Agent | Dossier du projet | Votre dossier utilisateur | Remarques |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Tapez $ ou lancez /skills pour choisir un skill ; Codex en choisit aussi un quand votre tâche correspond. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | Ou installez-le depuis Git avec gemini skills install <git URL> --path <folder> --consent. Le 18 juin 2026, Google a remplacé Gemini CLI par Antigravity CLI pour les utilisateurs de l’offre gratuite et de Google One ; Antigravity utilise .agents/skills/ dans un projet et ~/.gemini/config/skills/ pour vous. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Tapez / dans le chat Agent pour choisir un skill. Cursor lit aussi les dossiers .claude/skills/ de Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Fonctionne dans Copilot CLI, l’agent cloud et le mode agent de VS Code, Visual Studio et JetBrains (la prise en charge dans l’IDE dépend de la version). Ou lancez gh skill install OWNER/REPOSITORY SKILL (préversion publique, GitHub CLI 2.90.0 ou ultérieure). |
Sources de ces étapes
Vérifiées dans la documentation de chaque éditeur le 2026-11-14 :
Dimensions de qualité indépendantes
Rapportez séparément exactitude, exhaustivité, sources et comportement des outils. Un total pondéré peut masquer un échec critique.
Commencez par formats et contraintes déterministes. Utilisez échantillonnage humain et juges calibrés pour les autres questions.
Un processus de régression reproductible
Versionnez cas, prompts, modèles et règles de notation. Incluez budgets réalistes et cas difficiles, pas seulement des exemples faciles.
Un plan de suivi n’est pas un service déployé. Implémentez collecte des traces, échantillonnage, conservation et escalade dans le système réel.
Questions sur evaluation
Le script exécute-t-il automatiquement mon agent ?
Non. L’exécuteur d’exemple produit des sorties simulées. Branchez votre agent et collectez de vrais résultats avant de comparer.
Trouver une citation prouve-t-il sa validité ?
Non. Les motifs textuels ne vérifient ni existence de la source, ni pertinence, ni soutien factuel.
Chaque réussite doit-elle suivre la même séquence d’outils ?
Évaluez généralement résultats et contraintes. Plusieurs chemins valides peuvent résoudre la même tâche.
Les seuils d’exemple sont-ils universels ?
Non. Fixez-les selon risques, annotations humaines et référence mesurée ; ce ne sont pas des normes de certification.
Plus de skills IA
Skills similaires
Skill Dev-Browser
Communauté · Sawyer HoodAutomatisez Chrome avec des pages nommées persistantes, Puppeteer et un service local en ligne de commande.Skill Context Degradation
Communauté · Muratcan KoylanDiagnostiquez les échecs de contexte long et préparez une reprise avec des faits vérifiés et des comparaisons adaptées.Skill Tool Design
Communauté · Muratcan KoylanConcevez des contrats d’outils avec entrées, sorties, critères de sélection et erreurs récupérables explicites.Skill Advanced Evaluation
Communauté · Muratcan KoylanConcevez des juges LLM avec grilles étayées, comparaisons inversées et calibration humaine.Skill Brainstorming
Communauté · Jesse Vincent / Prime RadiantTransformez une idée initiale en conception approuvée avant de coder.Skill Writing Plans
Communauté · Jesse Vincent / Prime RadiantTransformez une conception approuvée en tâches vérifiables, avec interfaces et contrôles.