Skill Advanced Evaluation
Projete juízes LLM com rubricas baseadas em evidências, comparações invertidas e calibração humana.
Comunidade · Muratcan Koylan| Autor | Muratcan Koylan |
|---|---|
| Licença | MIT |
| Fonte | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md no GitHub |
| Funciona em | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Lido na fonte em |
A skill advanced-evaluation projeta julgamentos de saídas de agentes assistidos por modelos.
Cobre pontuação direta e comparação em pares com rubricas, evidências e controles de viés. Seus exemplos Python não chamam um juiz real.
Do SKILL.md da skill: ## Gotchas
O que ela faz
- Escolher pontuação direta ou comparação em pares conforme a tarefa.
- Definir níveis e exigir evidências para os julgamentos.
- Inverter a ordem e calibrar com rótulos humanos.
O que você recebe
- Prompts de juiz, rubricas e plano de calibração de vieses.
Quando usar
- Comparar saídas cuja qualidade não se decide só por verificações determinísticas.
Quando não usar
- Tratar uma nota não calibrada como verdade objetiva ou probabilidade garantida.
O que ela exige
- Um agente com arquivos, saídas candidatas, critérios específicos e exemplos rotulados por pessoas.
- Julgamento real requer integração de modelo e pode gerar custos. O exemplo Python devolve estruturas preparadas sem chamar modelo.
Arquivos da skill
| Arquivo ou pasta | Para que serve |
|---|---|
SKILL.md | Projeto do juiz, comparação em pares e calibração. |
references/implementation-patterns.md | Exemplos Python e referências sobre implementação, vieses, métricas e pipelines. |
scripts/evaluation_example.py | Exemplos Python e referências sobre implementação, vieses, métricas e pipelines. |
Licença conforme encontrada no repositório em 2026-11-20: MIT.
Prompts de exemplo
Digite um destes depois de instalar; citar a skill pelo nome garante que ela seja usada.
- Rascunhe uma rubrica baseada em evidências para estas respostas de suporte.
- Compare as duas ordens e associe vencedores às identidades originais.
- Planeje calibração humana e um teste de viés de verbosidade.
Como instalar a skill advanced-evaluation
Manter a pasta de referências intacta
Copie o diretório completo. O plugin instala a coleção, não apenas esta skill de projeto de juízes.
Não é preciso chave para ler exemplos. Forneça cliente real e orçamento para avaliar; upload hospedado e API não verificados aqui.
Uma skill é uma pasta com um arquivo SKILL.md. Você instala uma vez; o agente lê a descrição curta no início de cada sessão e só carrega as instruções completas quando um pedido corresponde a ela. Escolha onde você usa:
Claude Code: pelo marketplace de plugins
- Abra o Claude Code em um terminal com
claude. - Adicione o marketplace (uma vez por computador):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Instale o plugin. O Claude Code mostra os detalhes primeiro: confira o que ele vai adicionar (skills, hooks, servidores MCP) e escolha se ele é para você, para todos neste repositório ou só para você neste repositório.
/plugin install context-engineering@context-engineering-marketplace - Digite / e procure
/context-engineering:advanced-evaluation, ou simplesmente peça a tarefa.
Pelo shell, em vez de dentro de uma sessão:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceO plugin é instalado inteiro, então outras skills vêm junto, incluindo context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code: copie a pasta para a sua pasta de skills
Coloque a pasta da skill em ~/.claude/skills/ para usá-la em todos os projetos deste computador, ou em .claude/skills/ dentro de um repositório para compartilhá-la com todos que trabalham nele (faça o commit).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/O Claude Code percebe skills novas ou alteradas nessas pastas durante a sessão. Se a pasta de skills não existia quando a sessão começou, execute /reload-skills uma vez. Depois digite /advanced-evaluation ou apenas descreva a tarefa.
No Windows, execute os comandos no Git Bash ou no WSL, ou copie a pasta para o mesmo lugar pelo Explorador de Arquivos.
Codex, Gemini CLI, Cursor e GitHub Copilot
Esses agentes leem as mesmas pastas SKILL.md. A única pasta dentro de um projeto que os quatro aceitam é .agents/skills/, então este comando copia a skill para lá:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/| Agente | Pasta do projeto | Sua pasta de usuário | Observações |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Digite $ ou execute /skills para escolher uma skill; o Codex também escolhe uma sozinho quando a tarefa corresponde. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | Ou instale pelo Git com gemini skills install <git URL> --path <folder> --consent. Em 18 de junho de 2026, o Google substituiu o Gemini CLI pelo Antigravity CLI para usuários do nível gratuito e do Google One; o Antigravity usa .agents/skills/ no projeto e ~/.gemini/config/skills/ para você. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Digite / no chat do Agent para escolher uma skill. O Cursor também lê as pastas .claude/skills/ do Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Funciona no Copilot CLI, no agente na nuvem e no modo agente do VS Code, do Visual Studio e dos IDEs da JetBrains (o suporte nos IDEs depende da versão). Ou execute gh skill install OWNER/REPOSITORY SKILL (prévia pública, GitHub CLI 2.90.0 ou mais recente). |
Fontes destas instruções
Conferido com a documentação de cada fornecedor em 2026-11-14:
Evidências antes da nota global
Defina cada nível e exija observações de apoio. Valide restrições determinísticas antes do julgamento qualitativo do modelo.
Versione entradas e rubricas. Mudar o modelo juiz pode alterar notas mesmo com a mesma resposta candidata.
Calibração e discordância
Meça concordância com humanos usando métricas adequadas. Confiança declarada não é probabilidade calibrada sem validação.
Inspecione discordâncias e testes de viés. Encaminhe julgamentos importantes ou inconsistentes para pessoas, em vez de escondê-los na média.
Perguntas sobre a skill advanced-evaluation
O exemplo Python chama um LLM?
Não. Mostra prompts, rubricas e saídas preparadas. Integre e valide um cliente real separadamente.
Por que inverter a ordem dos candidatos?
A posição pode influenciar o julgamento. Reassocie resultados aos candidatos originais antes de conferir concordância; contradições exigem revisão ou menor confiança.
Inverter a ordem elimina todos os vieses?
Não. Teste verbosidade, preferência por si e sinais de autoridade, comparando com rótulos humanos.
Quando usar pontuação direta?
Quando critérios e níveis explícitos ajudam. Pares servem para preferências relativas; calibre ambos na tarefa real.
Mais skills de IA
Skills relacionadas
Skill Agent Evaluation
Comunidade · Muratcan KoylanPlaneje regressões com verificações determinísticas, dimensões separadas e bases versionadas.Skill Context Degradation
Comunidade · Muratcan KoylanDiagnostique falhas em contextos longos e planeje a recuperação com fatos verificados e comparações por tarefa.Skill Dev-Browser
Comunidade · Sawyer HoodAutomatize o Chrome com páginas persistentes, scripts Puppeteer e um serviço local de linha de comando.Skill Tool Design
Comunidade · Muratcan KoylanProjete contratos de ferramentas com entradas, saídas, critérios de escolha e erros recuperáveis claros.Skill Brainstorming
Comunidade · Jesse Vincent / Prime RadiantTransforme a ideia inicial em um projeto aprovado antes de implementar.Skill Writing Plans
Comunidade · Jesse Vincent / Prime RadiantConverta projeto aprovado em tarefas revisáveis com interfaces e verificação.