Pular para o conteúdo

Skill Advanced Evaluation

Projete juízes LLM com rubricas baseadas em evidências, comparações invertidas e calibração humana.

Comunidade · Muratcan Koylan
AutorMuratcan Koylan
LicençaMIT
Fontemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md no GitHub
Funciona emClaude Code · Codex, Gemini CLI, Cursor, Copilot
Lido na fonte em

A skill advanced-evaluation projeta julgamentos de saídas de agentes assistidos por modelos.

Cobre pontuação direta e comparação em pares com rubricas, evidências e controles de viés. Seus exemplos Python não chamam um juiz real.

Do SKILL.md da skill: ## Gotchas

Esta é uma skill da comunidade, de Muratcan Koylan, sem verificação nossa nem da Anthropic. Skills podem mandar o agente executar código, ler arquivos ou acessar a rede. Antes de instalar, leia o SKILL.md e todos os scripts da pasta, e procure qualquer coisa que não corresponda ao que ela diz fazer.

O que ela faz

  1. Escolher pontuação direta ou comparação em pares conforme a tarefa.
  2. Definir níveis e exigir evidências para os julgamentos.
  3. Inverter a ordem e calibrar com rótulos humanos.

O que você recebe

  • Prompts de juiz, rubricas e plano de calibração de vieses.

Quando usar

  • Comparar saídas cuja qualidade não se decide só por verificações determinísticas.

Quando não usar

  • Tratar uma nota não calibrada como verdade objetiva ou probabilidade garantida.

O que ela exige

  • Um agente com arquivos, saídas candidatas, critérios específicos e exemplos rotulados por pessoas.
  • Julgamento real requer integração de modelo e pode gerar custos. O exemplo Python devolve estruturas preparadas sem chamar modelo.

Arquivos da skill

Arquivo ou pastaPara que serve
SKILL.mdProjeto do juiz, comparação em pares e calibração.
references/implementation-patterns.mdExemplos Python e referências sobre implementação, vieses, métricas e pipelines.
scripts/evaluation_example.pyExemplos Python e referências sobre implementação, vieses, métricas e pipelines.

Licença conforme encontrada no repositório em 2026-11-20: MIT.

Prompts de exemplo

Digite um destes depois de instalar; citar a skill pelo nome garante que ela seja usada.

  • Rascunhe uma rubrica baseada em evidências para estas respostas de suporte.
  • Compare as duas ordens e associe vencedores às identidades originais.
  • Planeje calibração humana e um teste de viés de verbosidade.

Como instalar a skill advanced-evaluation

Manter a pasta de referências intacta

Copie o diretório completo. O plugin instala a coleção, não apenas esta skill de projeto de juízes.

Não é preciso chave para ler exemplos. Forneça cliente real e orçamento para avaliar; upload hospedado e API não verificados aqui.

Uma skill é uma pasta com um arquivo SKILL.md. Você instala uma vez; o agente lê a descrição curta no início de cada sessão e só carrega as instruções completas quando um pedido corresponde a ela. Escolha onde você usa:

Claude Code: pelo marketplace de plugins

  1. Abra o Claude Code em um terminal com claude.
  2. Adicione o marketplace (uma vez por computador):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Instale o plugin. O Claude Code mostra os detalhes primeiro: confira o que ele vai adicionar (skills, hooks, servidores MCP) e escolha se ele é para você, para todos neste repositório ou só para você neste repositório.
    /plugin install context-engineering@context-engineering-marketplace
  4. Digite / e procure /context-engineering:advanced-evaluation, ou simplesmente peça a tarefa.

Pelo shell, em vez de dentro de uma sessão:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

O plugin é instalado inteiro, então outras skills vêm junto, incluindo context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code: copie a pasta para a sua pasta de skills

Coloque a pasta da skill em ~/.claude/skills/ para usá-la em todos os projetos deste computador, ou em .claude/skills/ dentro de um repositório para compartilhá-la com todos que trabalham nele (faça o commit).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/

O Claude Code percebe skills novas ou alteradas nessas pastas durante a sessão. Se a pasta de skills não existia quando a sessão começou, execute /reload-skills uma vez. Depois digite /advanced-evaluation ou apenas descreva a tarefa.

No Windows, execute os comandos no Git Bash ou no WSL, ou copie a pasta para o mesmo lugar pelo Explorador de Arquivos.

Codex, Gemini CLI, Cursor e GitHub Copilot

Esses agentes leem as mesmas pastas SKILL.md. A única pasta dentro de um projeto que os quatro aceitam é .agents/skills/, então este comando copia a skill para lá:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/
AgentePasta do projetoSua pasta de usuárioObservações
OpenAI Codex
.agents/skills/
~/.agents/skills/
Digite $ ou execute /skills para escolher uma skill; o Codex também escolhe uma sozinho quando a tarefa corresponde.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
Ou instale pelo Git com gemini skills install <git URL> --path <folder> --consent. Em 18 de junho de 2026, o Google substituiu o Gemini CLI pelo Antigravity CLI para usuários do nível gratuito e do Google One; o Antigravity usa .agents/skills/ no projeto e ~/.gemini/config/skills/ para você.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Digite / no chat do Agent para escolher uma skill. O Cursor também lê as pastas .claude/skills/ do Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Funciona no Copilot CLI, no agente na nuvem e no modo agente do VS Code, do Visual Studio e dos IDEs da JetBrains (o suporte nos IDEs depende da versão). Ou execute gh skill install OWNER/REPOSITORY SKILL (prévia pública, GitHub CLI 2.90.0 ou mais recente).
Instale só skills em que você confia. A recomendação da Anthropic é usar skills apenas de fontes confiáveis e ler todos os arquivos de qualquer outra skill antes de usá-la: uma skill pode mandar o agente executar comandos, ler arquivos ou enviar dados de formas que a descrição não menciona.

Fontes destas instruções

Conferido com a documentação de cada fornecedor em 2026-11-14:

Evidências antes da nota global

Defina cada nível e exija observações de apoio. Valide restrições determinísticas antes do julgamento qualitativo do modelo.

Versione entradas e rubricas. Mudar o modelo juiz pode alterar notas mesmo com a mesma resposta candidata.

Calibração e discordância

Meça concordância com humanos usando métricas adequadas. Confiança declarada não é probabilidade calibrada sem validação.

Inspecione discordâncias e testes de viés. Encaminhe julgamentos importantes ou inconsistentes para pessoas, em vez de escondê-los na média.

Perguntas sobre a skill advanced-evaluation

O exemplo Python chama um LLM?

Não. Mostra prompts, rubricas e saídas preparadas. Integre e valide um cliente real separadamente.

Por que inverter a ordem dos candidatos?

A posição pode influenciar o julgamento. Reassocie resultados aos candidatos originais antes de conferir concordância; contradições exigem revisão ou menor confiança.

Inverter a ordem elimina todos os vieses?

Não. Teste verbosidade, preferência por si e sinais de autoridade, comparando com rótulos humanos.

Quando usar pontuação direta?

Quando critérios e níveis explícitos ajudam. Pares servem para preferências relativas; calibre ambos na tarefa real.

Mais skills de IA

Skills relacionadas

Categorias de skills