Skill Agent Evaluation
Planeje regressões com verificações determinísticas, dimensões separadas e bases versionadas.
Comunidade · Muratcan Koylan| Autor | Muratcan Koylan |
|---|---|
| Licença | MIT |
| Fonte | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md no GitHub |
| Funciona em | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Lido na fonte em |
A skill evaluation projeta verificações de qualidade para agentes em tarefas realistas.
Combina validação determinística, dimensões separadas e revisão humana. A skill advanced-evaluation cobre prompts do juiz e calibração de vieses.
Do SKILL.md da skill: ## Gotchas
O que ela faz
- Definir resultados esperados e verificações determinísticas.
- Criar casos representativos por complexidade e orçamento.
- Comparar bases versionadas e investigar regressões.
O que você recebe
- Plano de avaliação com rubricas, casos de regressão e critérios de qualidade.
Quando usar
- Comparar de forma repetível mudanças no agente, ferramentas ou estratégia de contexto.
Quando não usar
- Tratar uma nota de exemplo como verificação factual ou certificação de produção.
O que ela exige
- Um agente com arquivos, casos representativos, resultados esperados e rastros de execução.
- O exemplo Python contém notas provisórias e saídas simuladas. Forneça executor real, verificadores e eventual integração de modelo pago.
Arquivos da skill
| Arquivo ou pasta | Para que serve |
|---|---|
SKILL.md | Dimensões de avaliação, projeto de testes e regressões. |
references/metrics.md | Exemplo de avaliador Python e guia de métricas. |
scripts/evaluator.py | Exemplo de avaliador Python e guia de métricas. |
Licença conforme encontrada no repositório em 2026-11-20: MIT.
Prompts de exemplo
Digite um destes depois de instalar; citar a skill pelo nome garante que ela seja usada.
- Projete regressões com verificação de citações para este agente de pesquisa.
- Separe qualidade da resposta e eficiência das ferramentas no relatório.
- Defina um critério de qualidade usando nossos casos rotulados por pessoas.
Como instalar a skill evaluation
Usar exemplos como estrutura inicial
Copie referências e scripts com SKILL.md. O plugin instala a coleção de engenharia de contexto.
O exemplo usa a biblioteca padrão Python, mas não executa agente real. Upload hospedado e API não verificados; modelos usam seu provedor e orçamento.
Uma skill é uma pasta com um arquivo SKILL.md. Você instala uma vez; o agente lê a descrição curta no início de cada sessão e só carrega as instruções completas quando um pedido corresponde a ela. Escolha onde você usa:
Claude Code: pelo marketplace de plugins
- Abra o Claude Code em um terminal com
claude. - Adicione o marketplace (uma vez por computador):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Instale o plugin. O Claude Code mostra os detalhes primeiro: confira o que ele vai adicionar (skills, hooks, servidores MCP) e escolha se ele é para você, para todos neste repositório ou só para você neste repositório.
/plugin install context-engineering@context-engineering-marketplace - Digite / e procure
/context-engineering:evaluation, ou simplesmente peça a tarefa.
Pelo shell, em vez de dentro de uma sessão:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceO plugin é instalado inteiro, então outras skills vêm junto, incluindo context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code: copie a pasta para a sua pasta de skills
Coloque a pasta da skill em ~/.claude/skills/ para usá-la em todos os projetos deste computador, ou em .claude/skills/ dentro de um repositório para compartilhá-la com todos que trabalham nele (faça o commit).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/O Claude Code percebe skills novas ou alteradas nessas pastas durante a sessão. Se a pasta de skills não existia quando a sessão começou, execute /reload-skills uma vez. Depois digite /evaluation ou apenas descreva a tarefa.
No Windows, execute os comandos no Git Bash ou no WSL, ou copie a pasta para o mesmo lugar pelo Explorador de Arquivos.
Codex, Gemini CLI, Cursor e GitHub Copilot
Esses agentes leem as mesmas pastas SKILL.md. A única pasta dentro de um projeto que os quatro aceitam é .agents/skills/, então este comando copia a skill para lá:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/| Agente | Pasta do projeto | Sua pasta de usuário | Observações |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Digite $ ou execute /skills para escolher uma skill; o Codex também escolhe uma sozinho quando a tarefa corresponde. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | Ou instale pelo Git com gemini skills install <git URL> --path <folder> --consent. Em 18 de junho de 2026, o Google substituiu o Gemini CLI pelo Antigravity CLI para usuários do nível gratuito e do Google One; o Antigravity usa .agents/skills/ no projeto e ~/.gemini/config/skills/ para você. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Digite / no chat do Agent para escolher uma skill. O Cursor também lê as pastas .claude/skills/ do Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Funciona no Copilot CLI, no agente na nuvem e no modo agente do VS Code, do Visual Studio e dos IDEs da JetBrains (o suporte nos IDEs depende da versão). Ou execute gh skill install OWNER/REPOSITORY SKILL (prévia pública, GitHub CLI 2.90.0 ou mais recente). |
Fontes destas instruções
Conferido com a documentação de cada fornecedor em 2026-11-14:
Dimensões de qualidade independentes
Relate correção, completude, fontes e comportamento das ferramentas separadamente. Um total ponderado pode esconder falha crítica.
Comece por formatos e restrições determinísticas. Use amostragem humana e juízes calibrados para as questões restantes.
Regressão repetível
Versione casos, prompts, modelos e regras. Inclua orçamentos reais e casos difíceis, não apenas exemplos fáceis.
Plano de monitoramento não é serviço implantado. Implemente coleta de rastros, amostragem, retenção e escalonamento no sistema real.
Perguntas sobre a skill evaluation
O script executa meu agente automaticamente?
Não. O executor ilustrativo gera saídas simuladas. Conecte o agente e capture resultados reais antes de comparar notas.
Encontrar uma citação prova que ela está correta?
Não. Padrões textuais não verificam existência, relevância ou suporte factual da fonte.
Toda execução válida deve usar a mesma sequência de ferramentas?
Em geral, avalie resultado e restrições. Vários caminhos válidos podem resolver a mesma tarefa.
Os limites de aprovação do exemplo são universais?
Não. Use risco, rótulos humanos e base medida; exemplos não são padrões de certificação.
Mais skills de IA
Skills relacionadas
Skill Dev-Browser
Comunidade · Sawyer HoodAutomatize o Chrome com páginas persistentes, scripts Puppeteer e um serviço local de linha de comando.Skill Context Degradation
Comunidade · Muratcan KoylanDiagnostique falhas em contextos longos e planeje a recuperação com fatos verificados e comparações por tarefa.Skill Tool Design
Comunidade · Muratcan KoylanProjete contratos de ferramentas com entradas, saídas, critérios de escolha e erros recuperáveis claros.Skill Advanced Evaluation
Comunidade · Muratcan KoylanProjete juízes LLM com rubricas baseadas em evidências, comparações invertidas e calibração humana.Skill Brainstorming
Comunidade · Jesse Vincent / Prime RadiantTransforme a ideia inicial em um projeto aprovado antes de implementar.Skill Writing Plans
Comunidade · Jesse Vincent / Prime RadiantConverta projeto aprovado em tarefas revisáveis com interfaces e verificação.