Vai al contenuto

Skill Advanced Evaluation

Progetta giudici LLM con rubriche basate su prove, confronti invertiti e calibrazione umana.

Community · Muratcan Koylan
AutoreMuratcan Koylan
LicenzaMIT
Fontemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md su GitHub
Funziona inClaude Code · Codex, Gemini CLI, Cursor, Copilot
Letta dalla fonte il

Lo skill advanced-evaluation progetta giudizi assistiti da modelli sugli output degli agenti.

Copre punteggio diretto e confronti a coppie con rubriche, prove e controlli dei bias. Gli esempi Python non chiamano un giudice reale.

Dallo SKILL.md della skill: ## Gotchas

Questa è una skill della community di Muratcan Koylan, non verificata da noi né da Anthropic. Le skill possono dire all'agente di eseguire codice, leggere file o accedere alla rete. Prima di installarla, leggi il suo SKILL.md e ogni script nella cartella, e cerca qualsiasi cosa che non corrisponda a ciò che dichiara di fare.

Cosa fa

  1. Scegliere punteggio diretto o confronto a coppie secondo il compito.
  2. Definire livelli ed esigere prove per i giudizi.
  3. Invertire l’ordine e calibrare su annotazioni umane.

Cosa ottieni

  • Prompt del giudice, rubriche e piano di calibrazione dei bias.

Quando usarla

  • Confrontare output la cui qualità non si decide con soli controlli deterministici.

Quando non usarla

  • Considerare un punteggio non calibrato una verità oggettiva o probabilità garantita.

Cosa richiede

  • Un agente con file, output candidati, criteri specifici e campioni annotati da persone.
  • Un giudice reale richiede un modello integrato e può avere costi. L’esempio Python restituisce strutture preparate senza chiamare modelli.

File della skill

File o cartellaA cosa serve
SKILL.mdProgettazione del giudice, confronto a coppie e calibrazione.
references/implementation-patterns.mdEsempi Python e riferimenti su implementazione, bias, metriche e pipeline.
scripts/evaluation_example.pyEsempi Python e riferimenti su implementazione, bias, metriche e pipeline.

Licenza trovata nel repository il 2026-11-20: MIT.

Prompt di esempio

Scrivine uno dopo l'installazione; nominare la skill fa sì che venga usata.

  • Abbozza una rubrica basata su prove per queste risposte di assistenza.
  • Confronta entrambi gli ordini e riassocia i vincitori alle identità originali.
  • Pianifica calibrazione umana e una prova sul bias di verbosità.

Come installare advanced-evaluation

Mantenere intatta la cartella dei riferimenti

Copia l’intera directory. Il plugin installa la raccolta, non soltanto questo skill per progettare giudici.

Non serve una chiave per leggere gli esempi. Fornisci client reale e budget per valutazioni effettive; caricamento ospitato ed API non verificati.

Una skill è una cartella con un file SKILL.md. La installi una volta sola; l'agente legge la sua breve descrizione all'inizio di ogni sessione e carica le istruzioni complete solo quando una richiesta corrisponde. Scegli dove la usi:

Claude Code: dal marketplace dei plugin

  1. Avvia Claude Code in un terminale con claude.
  2. Aggiungi il marketplace (una volta per computer):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Installa il plugin. Claude Code ne mostra prima i dettagli: controlla cosa aggiungerà (skill, hook, server MCP), poi scegli se è per te, per tutti su questo repository o solo per te in questo repository.
    /plugin install context-engineering@context-engineering-marketplace
  4. Digita / e cerca /context-engineering:advanced-evaluation, oppure chiedi semplicemente di svolgere il compito.

Dalla shell invece che da una sessione:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

Il plugin si installa per intero, quindi arrivano anche altre skill, tra cui context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code: copia la cartella nella tua cartella delle skill

Metti la cartella della skill in ~/.claude/skills/ per usarla in tutti i progetti su questo computer, oppure in .claude/skills/ dentro un repository per condividerla con chiunque ci lavori (fanne il commit).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/

Claude Code rileva le skill nuove o modificate in queste cartelle durante la sessione. Se la cartella delle skill non esisteva quando è iniziata la sessione, esegui una volta /reload-skills. Poi digita /advanced-evaluation o descrivi semplicemente il compito.

Su Windows, esegui i comandi in Git Bash o WSL, oppure copia la cartella nello stesso percorso con Esplora file.

Codex, Gemini CLI, Cursor e GitHub Copilot

Questi agenti leggono le stesse cartelle SKILL.md. L'unica cartella di progetto accettata da tutti e quattro è .agents/skills/, quindi questo comando ci copia la skill:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/
AgenteCartella del progettoLa tua cartella utenteNote
OpenAI Codex
.agents/skills/
~/.agents/skills/
Digita $ o esegui /skills per scegliere una skill; Codex ne sceglie una anche da solo quando il tuo compito corrisponde.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
Oppure installa da Git con gemini skills install <git URL> --path <folder> --consent. Il 18 giugno 2026 Google ha sostituito Gemini CLI con Antigravity CLI per gli utenti del piano gratuito e di Google One; Antigravity usa .agents/skills/ in un progetto e ~/.gemini/config/skills/ per te.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Digita / nella chat Agent per scegliere una skill. Cursor legge anche le cartelle .claude/skills/ di Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Funziona in Copilot CLI, nel cloud agent e nella modalità agente di VS Code, Visual Studio e JetBrains (il supporto negli IDE dipende dalla versione). Oppure esegui gh skill install OWNER/REPOSITORY SKILL (anteprima pubblica, GitHub CLI 2.90.0 o successiva).
Installa solo skill di cui ti fidi. Anthropic consiglia di usare solo skill di fonti affidabili e di leggere ogni file di qualsiasi altra skill prima di usarla: una skill può indurre l'agente a eseguire comandi, leggere file o inviare dati in modi che la sua descrizione non menziona.

Fonti per questi passaggi

Verificati sulla documentazione di ciascun fornitore il 2026-11-14:

Prove prima del punteggio globale

Definisci ogni livello ed esigi osservazioni a sostegno. Verifica i vincoli deterministici prima del giudizio qualitativo del modello.

Versiona input e rubriche. Cambiare il modello giudice può modificare i punteggi anche se la risposta candidata resta identica.

Calibrazione e disaccordi

Misura l’accordo con etichette umane usando metriche adatte. Una fiducia dichiarata non è probabilità calibrata senza verifica.

Esamina disaccordi e casi di bias. Affida a persone i giudizi importanti o incoerenti, senza nasconderli nella media.

Domande su advanced-evaluation

L’esempio Python chiama un LLM?

No. Mostra prompt, rubriche e output preparati. Integra e valida un client reale separatamente.

Perché invertire l’ordine dei candidati?

La posizione può influenzare il giudizio. Associa ogni risultato al candidato originale prima del confronto; le contraddizioni richiedono revisione o minore fiducia.

Invertire l’ordine elimina ogni bias?

No. Prova verbosità, preferenza per sé e segnali di autorità, confrontando poi con annotazioni umane.

Quando usare il punteggio diretto?

Quando servono criteri e livelli espliciti. Il confronto a coppie aiuta con preferenze relative; calibra entrambi sul compito reale.

Altre skill IA

Skill correlate

Categorie di skill