Skill Advanced Evaluation
Concevez des juges LLM avec grilles étayées, comparaisons inversées et calibration humaine.
Communauté · Muratcan Koylan| Auteur | Muratcan Koylan |
|---|---|
| Licence | MIT |
| Source | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md sur GitHub |
| Fonctionne dans | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Lu à la source le |
Le skill advanced-evaluation conçoit le jugement assisté par modèle des sorties d’agents.
Il couvre notation directe et comparaison par paires avec grilles, preuves et contrôles de biais. Ses exemples Python n’appellent aucun juge réel.
Extrait du SKILL.md du skill : ## Gotchas
Ce qu’il fait
- Choisir notation directe ou comparaison par paires selon la tâche.
- Définir les niveaux et exiger des preuves pour chaque jugement.
- Inverser l’ordre et calibrer sur des annotations humaines.
Ce que vous obtenez
- Prompts de juge, grilles et plan de calibration des biais.
Quand l’utiliser
- Comparer des sorties dont la qualité dépasse les contrôles déterministes.
Quand ne pas l’utiliser
- Prendre un score non calibré pour une vérité objective ou une probabilité garantie.
Ce qu’il faut
- Un agent avec fichiers, des réponses candidates, des critères propres à la tâche et des exemples annotés.
- Le jugement réel demande une intégration de modèle, éventuellement payante. L’exemple Python renvoie des structures préparées sans appeler de modèle.
Fichiers du skill
| Fichier ou dossier | À quoi il sert |
|---|---|
SKILL.md | Conception du juge, comparaison par paires et calibration. |
references/implementation-patterns.md | Exemples Python et références d’implémentation, biais, métriques et pipelines. |
scripts/evaluation_example.py | Exemples Python et références d’implémentation, biais, métriques et pipelines. |
Licence trouvée dans le dépôt le 2026-11-20 : MIT.
Exemples de prompts
Tapez l’un de ces prompts après l’installation ; nommer le skill garantit qu’il sera utilisé.
- Rédige une grille étayée pour ces réponses d’assistance.
- Compare les deux ordres et rattache les gagnants aux identités originales.
- Prépare une calibration humaine et un test du biais de verbosité.
Comment installer advanced-evaluation
Conserver le dossier de références intact
Copiez tout le répertoire. Le plugin installe la collection, pas uniquement ce skill de conception de juges.
Aucune clé n’est nécessaire pour lire les exemples. Fournissez client réel et budget pour juger ; téléversement hébergé et API non vérifiés ici.
Un skill est un dossier contenant un fichier SKILL.md. Vous l’installez une fois ; l’agent lit sa courte description au début de chaque session et ne charge les instructions complètes que si une demande correspond. Choisissez l’environnement que vous utilisez :
Claude Code : depuis la marketplace de plugins
- Lancez Claude Code dans un terminal avec
claude. - Ajoutez la marketplace (une fois par ordinateur) :
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Installez le plugin. Claude Code affiche d’abord ses détails : vérifiez ce qu’il va ajouter (skills, hooks, serveurs MCP), puis choisissez s’il est pour vous, pour toutes les personnes de ce dépôt, ou pour vous seul dans ce dépôt.
/plugin install context-engineering@context-engineering-marketplace - Tapez / et cherchez
/context-engineering:advanced-evaluation, ou demandez simplement la tâche.
Depuis votre shell plutôt que dans une session :
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceLe plugin s’installe en bloc : d’autres skills sont donc installés avec lui, dont context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code : copier le dossier dans votre dossier de skills
Placez le dossier du skill dans ~/.claude/skills/ pour l’utiliser dans tous les projets de cet ordinateur, ou dans .claude/skills/ à l’intérieur d’un dépôt pour le partager avec toutes les personnes qui y travaillent (committez-le).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/Claude Code détecte pendant la session les skills nouveaux ou modifiés dans ces dossiers. Si le dossier de skills n’existait pas au démarrage de la session, lancez /reload-skills une fois. Tapez ensuite /advanced-evaluation ou décrivez simplement la tâche.
Sous Windows, lancez les commandes dans Git Bash ou WSL, ou copiez le dossier au même endroit avec l’Explorateur de fichiers.
Codex, Gemini CLI, Cursor et GitHub Copilot
Ces agents lisent les mêmes dossiers SKILL.md. Le seul dossier que les quatre acceptent dans un projet est .agents/skills/ ; cette commande y copie donc le skill :
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/| Agent | Dossier du projet | Votre dossier utilisateur | Remarques |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Tapez $ ou lancez /skills pour choisir un skill ; Codex en choisit aussi un quand votre tâche correspond. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | Ou installez-le depuis Git avec gemini skills install <git URL> --path <folder> --consent. Le 18 juin 2026, Google a remplacé Gemini CLI par Antigravity CLI pour les utilisateurs de l’offre gratuite et de Google One ; Antigravity utilise .agents/skills/ dans un projet et ~/.gemini/config/skills/ pour vous. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Tapez / dans le chat Agent pour choisir un skill. Cursor lit aussi les dossiers .claude/skills/ de Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Fonctionne dans Copilot CLI, l’agent cloud et le mode agent de VS Code, Visual Studio et JetBrains (la prise en charge dans l’IDE dépend de la version). Ou lancez gh skill install OWNER/REPOSITORY SKILL (préversion publique, GitHub CLI 2.90.0 ou ultérieure). |
Sources de ces étapes
Vérifiées dans la documentation de chaque éditeur le 2026-11-14 :
Les preuves avant la note globale
Définissez chaque niveau et exigez des observations justificatives. Vérifiez les contraintes déterministes avant le jugement qualitatif du modèle.
Versionnez entrées et grilles du juge. Changer son modèle peut modifier les scores même si la réponse candidate reste identique.
Calibration et désaccords
Mesurez l’accord avec les humains à l’aide de métriques adaptées. Une confiance annoncée n’est pas une probabilité calibrée sans validation.
Examinez désaccords et tests de biais. Soumettez les jugements importants ou incohérents à une personne plutôt que de les masquer dans une moyenne.
Questions sur advanced-evaluation
L’exemple Python appelle-t-il un LLM ?
Non. Il montre prompts, grilles et sorties préparées. Intégrez et validez un vrai client séparément.
Pourquoi inverser l’ordre des candidats ?
La position peut influer. Rattachez les résultats aux candidats originaux avant de vérifier l’accord ; une contradiction exige revue ou confiance réduite.
L’inversion élimine-t-elle tous les biais ?
Non. Testez verbosité, préférence pour soi et indices d’autorité, puis comparez aux annotations humaines.
Quand utiliser la notation directe ?
Lorsque critères et niveaux explicites sont utiles. Les paires aident à juger des préférences relatives ; calibrez les deux sur votre tâche.
Plus de skills IA
Skills similaires
Skill Agent Evaluation
Communauté · Muratcan KoylanPlanifiez des régressions avec contrôles déterministes, dimensions séparées et références versionnées.Skill Context Degradation
Communauté · Muratcan KoylanDiagnostiquez les échecs de contexte long et préparez une reprise avec des faits vérifiés et des comparaisons adaptées.Skill Dev-Browser
Communauté · Sawyer HoodAutomatisez Chrome avec des pages nommées persistantes, Puppeteer et un service local en ligne de commande.Skill Tool Design
Communauté · Muratcan KoylanConcevez des contrats d’outils avec entrées, sorties, critères de sélection et erreurs récupérables explicites.Skill Brainstorming
Communauté · Jesse Vincent / Prime RadiantTransformez une idée initiale en conception approuvée avant de coder.Skill Writing Plans
Communauté · Jesse Vincent / Prime RadiantTransformez une conception approuvée en tâches vérifiables, avec interfaces et contrôles.