Vai al contenuto

Skill Agent Evaluation

Pianifica regressioni con controlli deterministici, dimensioni separate e basi di confronto versionate.

Community · Muratcan Koylan
AutoreMuratcan Koylan
LicenzaMIT
Fontemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md su GitHub
Funziona inClaude Code · Codex, Gemini CLI, Cursor, Copilot
Letta dalla fonte il

Lo skill evaluation progetta controlli di qualità per agenti su attività realistiche.

Combina validazione deterministica, dimensioni distinte e revisione umana. Il companion advanced-evaluation tratta prompt del giudice e calibrazione dei bias.

Dallo SKILL.md della skill: ## Gotchas

Questa è una skill della community di Muratcan Koylan, non verificata da noi né da Anthropic. Le skill possono dire all'agente di eseguire codice, leggere file o accedere alla rete. Prima di installarla, leggi il suo SKILL.md e ogni script nella cartella, e cerca qualsiasi cosa che non corrisponda a ciò che dichiara di fare.

Cosa fa

  1. Definire risultati attesi e controlli deterministici.
  2. Creare casi rappresentativi per complessità e budget.
  3. Confrontare basi versionate e analizzare regressioni.

Cosa ottieni

  • Un piano con rubriche, casi di regressione e soglie di qualità.

Quando usarla

  • Confrontare in modo ripetibile modifiche ad agente, strumenti o strategia di contesto.

Quando non usarla

  • Trattare un punteggio di esempio come verifica fattuale o certificazione di produzione.

Cosa richiede

  • Un agente con file, casi rappresentativi, risultati attesi e tracce di esecuzione.
  • L’esempio Python usa punteggi provvisori e output simulati. Servono esecutore reale, verificatori ed eventuale integrazione con modelli a pagamento.

File della skill

File o cartellaA cosa serve
SKILL.mdDimensioni di valutazione, progettazione test e regressioni.
references/metrics.mdEsempio di valutatore Python e guida alle metriche.
scripts/evaluator.pyEsempio di valutatore Python e guida alle metriche.

Licenza trovata nel repository il 2026-11-20: MIT.

Prompt di esempio

Scrivine uno dopo l'installazione; nominare la skill fa sì che venga usata.

  • Progetta regressioni con controlli delle citazioni per questo agente di ricerca.
  • Separa qualità della risposta ed efficienza degli strumenti nel rapporto.
  • Definisci una soglia dai nostri casi di riferimento annotati da persone.

Come installare evaluation

Usare gli esempi come struttura iniziale

Copia riferimenti e script con SKILL.md. Il plugin installa la raccolta di ingegneria del contesto.

L’esempio usa la libreria standard Python ma non esegue un agente reale. Caricamento ospitato ed API non verificati; i controlli con modelli usano il tuo fornitore e budget.

Una skill è una cartella con un file SKILL.md. La installi una volta sola; l'agente legge la sua breve descrizione all'inizio di ogni sessione e carica le istruzioni complete solo quando una richiesta corrisponde. Scegli dove la usi:

Claude Code: dal marketplace dei plugin

  1. Avvia Claude Code in un terminale con claude.
  2. Aggiungi il marketplace (una volta per computer):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Installa il plugin. Claude Code ne mostra prima i dettagli: controlla cosa aggiungerà (skill, hook, server MCP), poi scegli se è per te, per tutti su questo repository o solo per te in questo repository.
    /plugin install context-engineering@context-engineering-marketplace
  4. Digita / e cerca /context-engineering:evaluation, oppure chiedi semplicemente di svolgere il compito.

Dalla shell invece che da una sessione:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

Il plugin si installa per intero, quindi arrivano anche altre skill, tra cui context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code: copia la cartella nella tua cartella delle skill

Metti la cartella della skill in ~/.claude/skills/ per usarla in tutti i progetti su questo computer, oppure in .claude/skills/ dentro un repository per condividerla con chiunque ci lavori (fanne il commit).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/

Claude Code rileva le skill nuove o modificate in queste cartelle durante la sessione. Se la cartella delle skill non esisteva quando è iniziata la sessione, esegui una volta /reload-skills. Poi digita /evaluation o descrivi semplicemente il compito.

Su Windows, esegui i comandi in Git Bash o WSL, oppure copia la cartella nello stesso percorso con Esplora file.

Codex, Gemini CLI, Cursor e GitHub Copilot

Questi agenti leggono le stesse cartelle SKILL.md. L'unica cartella di progetto accettata da tutti e quattro è .agents/skills/, quindi questo comando ci copia la skill:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/
AgenteCartella del progettoLa tua cartella utenteNote
OpenAI Codex
.agents/skills/
~/.agents/skills/
Digita $ o esegui /skills per scegliere una skill; Codex ne sceglie una anche da solo quando il tuo compito corrisponde.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
Oppure installa da Git con gemini skills install <git URL> --path <folder> --consent. Il 18 giugno 2026 Google ha sostituito Gemini CLI con Antigravity CLI per gli utenti del piano gratuito e di Google One; Antigravity usa .agents/skills/ in un progetto e ~/.gemini/config/skills/ per te.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Digita / nella chat Agent per scegliere una skill. Cursor legge anche le cartelle .claude/skills/ di Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Funziona in Copilot CLI, nel cloud agent e nella modalità agente di VS Code, Visual Studio e JetBrains (il supporto negli IDE dipende dalla versione). Oppure esegui gh skill install OWNER/REPOSITORY SKILL (anteprima pubblica, GitHub CLI 2.90.0 o successiva).
Installa solo skill di cui ti fidi. Anthropic consiglia di usare solo skill di fonti affidabili e di leggere ogni file di qualsiasi altra skill prima di usarla: una skill può indurre l'agente a eseguire comandi, leggere file o inviare dati in modi che la sua descrizione non menziona.

Fonti per questi passaggi

Verificati sulla documentazione di ciascun fornitore il 2026-11-14:

Dimensioni di qualità indipendenti

Riporta separatamente correttezza, completezza, fonti e comportamento degli strumenti. Un totale pesato può nascondere un errore critico.

Controlla prima formati e vincoli deterministici. Usa campionamento umano e giudici calibrati per gli altri aspetti.

Regressioni ripetibili

Versiona casi, prompt, modelli e regole di punteggio. Includi budget realistici e casi difficili, non solo esempi facili.

Un piano di monitoraggio non è un servizio distribuito. Implementa raccolta tracce, campionamento, conservazione ed escalation nel sistema reale.

Domande su evaluation

Lo script esegue automaticamente il mio agente?

No. L’esecutore di esempio produce output simulati. Collega il tuo agente e raccogli risultati reali prima del confronto.

Trovare una citazione ne prova la validità?

No. I pattern testuali non verificano esistenza, pertinenza o supporto fattuale della fonte.

Ogni successo deve seguire la stessa sequenza di strumenti?

Di norma contano risultato e vincoli. Più percorsi validi possono risolvere lo stesso compito.

Le soglie di esempio sono universali?

No. Basale su rischio, annotazioni umane e misure reali; gli esempi non sono standard di certificazione.

Altre skill IA

Skill correlate

Categorie di skill