Aller au contenu

Skill Advanced Evaluation

Concevez des juges LLM avec grilles étayées, comparaisons inversées et calibration humaine.

Communauté · Muratcan Koylan
AuteurMuratcan Koylan
LicenceMIT
Sourcemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md sur GitHub
Fonctionne dansClaude Code · Codex, Gemini CLI, Cursor, Copilot
Lu à la source le

Le skill advanced-evaluation conçoit le jugement assisté par modèle des sorties d’agents.

Il couvre notation directe et comparaison par paires avec grilles, preuves et contrôles de biais. Ses exemples Python n’appellent aucun juge réel.

Extrait du SKILL.md du skill : ## Gotchas

Ceci est un skill de la communauté créé par Muratcan Koylan, vérifié ni par nous ni par Anthropic. Un skill peut demander à l’agent d’exécuter du code, de lire des fichiers ou d’accéder au réseau. Avant de l’installer, lisez son SKILL.md et chaque script du dossier, et cherchez tout ce qui ne correspond pas à ce qu’il prétend faire.

Ce qu’il fait

  1. Choisir notation directe ou comparaison par paires selon la tâche.
  2. Définir les niveaux et exiger des preuves pour chaque jugement.
  3. Inverser l’ordre et calibrer sur des annotations humaines.

Ce que vous obtenez

  • Prompts de juge, grilles et plan de calibration des biais.

Quand l’utiliser

  • Comparer des sorties dont la qualité dépasse les contrôles déterministes.

Quand ne pas l’utiliser

  • Prendre un score non calibré pour une vérité objective ou une probabilité garantie.

Ce qu’il faut

  • Un agent avec fichiers, des réponses candidates, des critères propres à la tâche et des exemples annotés.
  • Le jugement réel demande une intégration de modèle, éventuellement payante. L’exemple Python renvoie des structures préparées sans appeler de modèle.

Fichiers du skill

Fichier ou dossierÀ quoi il sert
SKILL.mdConception du juge, comparaison par paires et calibration.
references/implementation-patterns.mdExemples Python et références d’implémentation, biais, métriques et pipelines.
scripts/evaluation_example.pyExemples Python et références d’implémentation, biais, métriques et pipelines.

Licence trouvée dans le dépôt le 2026-11-20 : MIT.

Exemples de prompts

Tapez l’un de ces prompts après l’installation ; nommer le skill garantit qu’il sera utilisé.

  • Rédige une grille étayée pour ces réponses d’assistance.
  • Compare les deux ordres et rattache les gagnants aux identités originales.
  • Prépare une calibration humaine et un test du biais de verbosité.

Comment installer advanced-evaluation

Conserver le dossier de références intact

Copiez tout le répertoire. Le plugin installe la collection, pas uniquement ce skill de conception de juges.

Aucune clé n’est nécessaire pour lire les exemples. Fournissez client réel et budget pour juger ; téléversement hébergé et API non vérifiés ici.

Un skill est un dossier contenant un fichier SKILL.md. Vous l’installez une fois ; l’agent lit sa courte description au début de chaque session et ne charge les instructions complètes que si une demande correspond. Choisissez l’environnement que vous utilisez :

Claude Code : depuis la marketplace de plugins

  1. Lancez Claude Code dans un terminal avec claude.
  2. Ajoutez la marketplace (une fois par ordinateur) :
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Installez le plugin. Claude Code affiche d’abord ses détails : vérifiez ce qu’il va ajouter (skills, hooks, serveurs MCP), puis choisissez s’il est pour vous, pour toutes les personnes de ce dépôt, ou pour vous seul dans ce dépôt.
    /plugin install context-engineering@context-engineering-marketplace
  4. Tapez / et cherchez /context-engineering:advanced-evaluation, ou demandez simplement la tâche.

Depuis votre shell plutôt que dans une session :

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

Le plugin s’installe en bloc : d’autres skills sont donc installés avec lui, dont context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code : copier le dossier dans votre dossier de skills

Placez le dossier du skill dans ~/.claude/skills/ pour l’utiliser dans tous les projets de cet ordinateur, ou dans .claude/skills/ à l’intérieur d’un dépôt pour le partager avec toutes les personnes qui y travaillent (committez-le).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/

Claude Code détecte pendant la session les skills nouveaux ou modifiés dans ces dossiers. Si le dossier de skills n’existait pas au démarrage de la session, lancez /reload-skills une fois. Tapez ensuite /advanced-evaluation ou décrivez simplement la tâche.

Sous Windows, lancez les commandes dans Git Bash ou WSL, ou copiez le dossier au même endroit avec l’Explorateur de fichiers.

Codex, Gemini CLI, Cursor et GitHub Copilot

Ces agents lisent les mêmes dossiers SKILL.md. Le seul dossier que les quatre acceptent dans un projet est .agents/skills/ ; cette commande y copie donc le skill :

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/
AgentDossier du projetVotre dossier utilisateurRemarques
OpenAI Codex
.agents/skills/
~/.agents/skills/
Tapez $ ou lancez /skills pour choisir un skill ; Codex en choisit aussi un quand votre tâche correspond.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
Ou installez-le depuis Git avec gemini skills install <git URL> --path <folder> --consent. Le 18 juin 2026, Google a remplacé Gemini CLI par Antigravity CLI pour les utilisateurs de l’offre gratuite et de Google One ; Antigravity utilise .agents/skills/ dans un projet et ~/.gemini/config/skills/ pour vous.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Tapez / dans le chat Agent pour choisir un skill. Cursor lit aussi les dossiers .claude/skills/ de Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Fonctionne dans Copilot CLI, l’agent cloud et le mode agent de VS Code, Visual Studio et JetBrains (la prise en charge dans l’IDE dépend de la version). Ou lancez gh skill install OWNER/REPOSITORY SKILL (préversion publique, GitHub CLI 2.90.0 ou ultérieure).
N’installez que des skills de confiance. Anthropic conseille de n’utiliser que des skills provenant de sources de confiance, et de lire chaque fichier de tout autre skill avant de l’utiliser : un skill peut amener l’agent à exécuter des commandes, lire des fichiers ou envoyer des données d’une manière que sa description ne mentionne pas.

Sources de ces étapes

Vérifiées dans la documentation de chaque éditeur le 2026-11-14 :

Les preuves avant la note globale

Définissez chaque niveau et exigez des observations justificatives. Vérifiez les contraintes déterministes avant le jugement qualitatif du modèle.

Versionnez entrées et grilles du juge. Changer son modèle peut modifier les scores même si la réponse candidate reste identique.

Calibration et désaccords

Mesurez l’accord avec les humains à l’aide de métriques adaptées. Une confiance annoncée n’est pas une probabilité calibrée sans validation.

Examinez désaccords et tests de biais. Soumettez les jugements importants ou incohérents à une personne plutôt que de les masquer dans une moyenne.

Questions sur advanced-evaluation

L’exemple Python appelle-t-il un LLM ?

Non. Il montre prompts, grilles et sorties préparées. Intégrez et validez un vrai client séparément.

Pourquoi inverser l’ordre des candidats ?

La position peut influer. Rattachez les résultats aux candidats originaux avant de vérifier l’accord ; une contradiction exige revue ou confiance réduite.

L’inversion élimine-t-elle tous les biais ?

Non. Testez verbosité, préférence pour soi et indices d’autorité, puis comparez aux annotations humaines.

Quand utiliser la notation directe ?

Lorsque critères et niveaux explicites sont utiles. Les paires aident à juger des préférences relatives ; calibrez les deux sur votre tâche.

Plus de skills IA

Skills similaires

Catégories de skills