Skill Advanced Evaluation
Progetta giudici LLM con rubriche basate su prove, confronti invertiti e calibrazione umana.
Community · Muratcan Koylan| Autore | Muratcan Koylan |
|---|---|
| Licenza | MIT |
| Fonte | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md su GitHub |
| Funziona in | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Letta dalla fonte il |
Lo skill advanced-evaluation progetta giudizi assistiti da modelli sugli output degli agenti.
Copre punteggio diretto e confronti a coppie con rubriche, prove e controlli dei bias. Gli esempi Python non chiamano un giudice reale.
Dallo SKILL.md della skill: ## Gotchas
Cosa fa
- Scegliere punteggio diretto o confronto a coppie secondo il compito.
- Definire livelli ed esigere prove per i giudizi.
- Invertire l’ordine e calibrare su annotazioni umane.
Cosa ottieni
- Prompt del giudice, rubriche e piano di calibrazione dei bias.
Quando usarla
- Confrontare output la cui qualità non si decide con soli controlli deterministici.
Quando non usarla
- Considerare un punteggio non calibrato una verità oggettiva o probabilità garantita.
Cosa richiede
- Un agente con file, output candidati, criteri specifici e campioni annotati da persone.
- Un giudice reale richiede un modello integrato e può avere costi. L’esempio Python restituisce strutture preparate senza chiamare modelli.
File della skill
| File o cartella | A cosa serve |
|---|---|
SKILL.md | Progettazione del giudice, confronto a coppie e calibrazione. |
references/implementation-patterns.md | Esempi Python e riferimenti su implementazione, bias, metriche e pipeline. |
scripts/evaluation_example.py | Esempi Python e riferimenti su implementazione, bias, metriche e pipeline. |
Licenza trovata nel repository il 2026-11-20: MIT.
Prompt di esempio
Scrivine uno dopo l'installazione; nominare la skill fa sì che venga usata.
- Abbozza una rubrica basata su prove per queste risposte di assistenza.
- Confronta entrambi gli ordini e riassocia i vincitori alle identità originali.
- Pianifica calibrazione umana e una prova sul bias di verbosità.
Come installare advanced-evaluation
Mantenere intatta la cartella dei riferimenti
Copia l’intera directory. Il plugin installa la raccolta, non soltanto questo skill per progettare giudici.
Non serve una chiave per leggere gli esempi. Fornisci client reale e budget per valutazioni effettive; caricamento ospitato ed API non verificati.
Una skill è una cartella con un file SKILL.md. La installi una volta sola; l'agente legge la sua breve descrizione all'inizio di ogni sessione e carica le istruzioni complete solo quando una richiesta corrisponde. Scegli dove la usi:
Claude Code: dal marketplace dei plugin
- Avvia Claude Code in un terminale con
claude. - Aggiungi il marketplace (una volta per computer):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Installa il plugin. Claude Code ne mostra prima i dettagli: controlla cosa aggiungerà (skill, hook, server MCP), poi scegli se è per te, per tutti su questo repository o solo per te in questo repository.
/plugin install context-engineering@context-engineering-marketplace - Digita / e cerca
/context-engineering:advanced-evaluation, oppure chiedi semplicemente di svolgere il compito.
Dalla shell invece che da una sessione:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceIl plugin si installa per intero, quindi arrivano anche altre skill, tra cui context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code: copia la cartella nella tua cartella delle skill
Metti la cartella della skill in ~/.claude/skills/ per usarla in tutti i progetti su questo computer, oppure in .claude/skills/ dentro un repository per condividerla con chiunque ci lavori (fanne il commit).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/Claude Code rileva le skill nuove o modificate in queste cartelle durante la sessione. Se la cartella delle skill non esisteva quando è iniziata la sessione, esegui una volta /reload-skills. Poi digita /advanced-evaluation o descrivi semplicemente il compito.
Su Windows, esegui i comandi in Git Bash o WSL, oppure copia la cartella nello stesso percorso con Esplora file.
Codex, Gemini CLI, Cursor e GitHub Copilot
Questi agenti leggono le stesse cartelle SKILL.md. L'unica cartella di progetto accettata da tutti e quattro è .agents/skills/, quindi questo comando ci copia la skill:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/| Agente | Cartella del progetto | La tua cartella utente | Note |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Digita $ o esegui /skills per scegliere una skill; Codex ne sceglie una anche da solo quando il tuo compito corrisponde. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | Oppure installa da Git con gemini skills install <git URL> --path <folder> --consent. Il 18 giugno 2026 Google ha sostituito Gemini CLI con Antigravity CLI per gli utenti del piano gratuito e di Google One; Antigravity usa .agents/skills/ in un progetto e ~/.gemini/config/skills/ per te. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Digita / nella chat Agent per scegliere una skill. Cursor legge anche le cartelle .claude/skills/ di Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Funziona in Copilot CLI, nel cloud agent e nella modalità agente di VS Code, Visual Studio e JetBrains (il supporto negli IDE dipende dalla versione). Oppure esegui gh skill install OWNER/REPOSITORY SKILL (anteprima pubblica, GitHub CLI 2.90.0 o successiva). |
Fonti per questi passaggi
Verificati sulla documentazione di ciascun fornitore il 2026-11-14:
Prove prima del punteggio globale
Definisci ogni livello ed esigi osservazioni a sostegno. Verifica i vincoli deterministici prima del giudizio qualitativo del modello.
Versiona input e rubriche. Cambiare il modello giudice può modificare i punteggi anche se la risposta candidata resta identica.
Calibrazione e disaccordi
Misura l’accordo con etichette umane usando metriche adatte. Una fiducia dichiarata non è probabilità calibrata senza verifica.
Esamina disaccordi e casi di bias. Affida a persone i giudizi importanti o incoerenti, senza nasconderli nella media.
Domande su advanced-evaluation
L’esempio Python chiama un LLM?
No. Mostra prompt, rubriche e output preparati. Integra e valida un client reale separatamente.
Perché invertire l’ordine dei candidati?
La posizione può influenzare il giudizio. Associa ogni risultato al candidato originale prima del confronto; le contraddizioni richiedono revisione o minore fiducia.
Invertire l’ordine elimina ogni bias?
No. Prova verbosità, preferenza per sé e segnali di autorità, confrontando poi con annotazioni umane.
Quando usare il punteggio diretto?
Quando servono criteri e livelli espliciti. Il confronto a coppie aiuta con preferenze relative; calibra entrambi sul compito reale.
Altre skill IA
Skill correlate
Skill Agent Evaluation
Community · Muratcan KoylanPianifica regressioni con controlli deterministici, dimensioni separate e basi di confronto versionate.Skill Context Degradation
Community · Muratcan KoylanDiagnostica errori nei contesti lunghi e pianifica il recupero con fatti verificati e confronti specifici.Skill Dev-Browser
Community · Sawyer HoodAutomatizza Chrome con pagine persistenti, script Puppeteer e un servizio locale da riga di comando.Skill Tool Design
Community · Muratcan KoylanProgetta contratti degli strumenti con input, output, criteri di scelta ed errori recuperabili espliciti.Skill Brainstorming
Community · Jesse Vincent / Prime RadiantTrasforma un’idea iniziale in un progetto concordato prima di implementare.Skill Writing Plans
Community · Jesse Vincent / Prime RadiantConverti un progetto approvato in compiti revisionabili con interfacce e verifiche.