Skill Agent Evaluation
Planifica regresiones con comprobaciones deterministas, dimensiones independientes y referencias versionadas.
Comunidad · Muratcan Koylan| Autor | Muratcan Koylan |
|---|---|
| Licencia | MIT |
| Fuente | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md en GitHub |
| Funciona en | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Leída en la fuente el |
El skill evaluation diseña controles de calidad para agentes en tareas realistas.
Combina validación determinista, dimensiones independientes y revisión humana. El skill advanced-evaluation cubre prompts del juez y calibración de sesgos.
Del SKILL.md de la skill: ## Gotchas
Qué hace
- Definir resultados esperados y comprobaciones deterministas.
- Crear casos representativos de distintas complejidades y presupuestos.
- Comparar referencias versionadas e investigar regresiones.
Qué obtienes
- Un plan de evaluación con rúbricas, casos de regresión y controles de calidad.
Cuándo usarla
- Comparar de forma repetible cambios en un agente, sus herramientas o su contexto.
Cuándo no usarla
- Tratar una puntuación de ejemplo como verificación factual o certificación de producción.
Qué necesita
- Un agente con archivos, casos representativos, resultados esperados y trazas de ejecución.
- El ejemplo Python usa puntuaciones provisionales y salidas simuladas. Debes aportar ejecutor, verificadores e integración con modelos de pago si procede.
Archivos de la skill
| Archivo o carpeta | Para qué sirve |
|---|---|
SKILL.md | Dimensiones de evaluación, diseño de pruebas y regresiones. |
references/metrics.md | Ejemplo de evaluador Python y referencia de métricas. |
scripts/evaluator.py | Ejemplo de evaluador Python y referencia de métricas. |
Licencia según el repositorio el 2026-11-20: MIT.
Prompts de ejemplo
Escribe uno de estos después de instalarla; si nombras la skill, te aseguras de que se use.
- Diseña regresiones para este agente investigador con controles de citas.
- Separa calidad de respuesta y eficiencia de herramientas en el informe.
- Define un control de calidad con nuestros casos de referencia etiquetados por humanos.
Cómo instalar evaluation
Usar los ejemplos como base
Copia referencias y scripts con SKILL.md. El plugin instala la colección de ingeniería de contexto.
El ejemplo usa la biblioteca estándar de Python, pero no ejecuta un agente real. Carga alojada y ejecución API no verificadas; los modelos usan tu proveedor y presupuesto.
Una skill es una carpeta con un archivo SKILL.md. La instalas una vez; el agente lee su breve descripción al empezar cada sesión y carga las instrucciones completas solo cuando una petición encaja. Elige dónde la usas:
Claude Code: desde el marketplace de plugins
- Abre Claude Code en una terminal con
claude. - Añade el marketplace (una vez por ordenador):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Instala el plugin. Claude Code muestra antes sus detalles: comprueba qué va a añadir (skills, hooks, servidores MCP) y elige si es para ti, para todos en este repositorio o solo para ti en este repositorio.
/plugin install context-engineering@context-engineering-marketplace - Escribe / y busca
/context-engineering:evaluation, o simplemente pide la tarea.
Desde tu shell en lugar de una sesión:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceEl plugin se instala completo, así que vienen otras skills con él, entre ellas context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code: copia la carpeta en tu carpeta de skills
Pon la carpeta de la skill en ~/.claude/skills/ para usarla en todos los proyectos de este ordenador, o en .claude/skills/ dentro de un repositorio para compartirla con todos los que trabajan en él (haz commit).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/Claude Code detecta las skills nuevas o modificadas en estas carpetas durante la sesión. Si la carpeta de skills no existía al empezar la sesión, ejecuta /reload-skills una vez. Después escribe /evaluation o simplemente describe la tarea.
En Windows, ejecuta los comandos en Git Bash o WSL, o copia la carpeta al mismo sitio con el Explorador de archivos.
Codex, Gemini CLI, Cursor y GitHub Copilot
Estos agentes leen las mismas carpetas SKILL.md. La única carpeta que aceptan los cuatro dentro de un proyecto es .agents/skills/, así que esto copia la skill ahí:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/| Agente | Carpeta del proyecto | Tu carpeta de usuario | Notas |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Escribe $ o ejecuta /skills para elegir una skill; Codex también elige una cuando tu tarea encaja. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | O instálala desde Git con gemini skills install <git URL> --path <folder> --consent. El 18 de junio de 2026, Google sustituyó Gemini CLI por Antigravity CLI para los usuarios del nivel gratuito y de Google One; Antigravity usa .agents/skills/ en un proyecto y ~/.gemini/config/skills/ para ti. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Escribe / en el chat de Agent para elegir una skill. Cursor también lee las carpetas .claude/skills/ de Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Funciona en Copilot CLI, en el agente en la nube y en el modo agente de VS Code, Visual Studio y JetBrains (la compatibilidad con cada IDE depende de la versión). O ejecuta gh skill install OWNER/REPOSITORY SKILL (vista previa pública, GitHub CLI 2.90.0 o posterior). |
Fuentes de estos pasos
Comprobado con la documentación de cada proveedor el 2026-11-14:
Dimensiones de calidad independientes
Informa por separado de corrección, integridad, respaldo de fuentes y uso de herramientas. Un total ponderado puede ocultar un fallo crítico.
Primero comprueba formatos y restricciones. Usa muestreo humano y jueces calibrados para lo que esas comprobaciones no resuelvan.
Regresiones reproducibles
Versiona casos, prompts, modelos y reglas de puntuación. Incluye presupuestos reales y casos difíciles, no solo ejemplos sencillos.
Un plan de seguimiento no es un servicio desplegado. Implementa recogida de trazas, muestreo, retención y escalado en producción.
Preguntas sobre evaluation
¿El script ejecuta mi agente automáticamente?
No. El ejecutor de muestra produce salidas simuladas. Conecta tu agente y registra resultados reales antes de comparar puntuaciones.
¿Encontrar una cita demuestra su corrección?
No. Los marcadores y patrones no verifican que la fuente exista, sea pertinente o respalde la afirmación.
¿Toda ejecución válida debe seguir idéntica secuencia de herramientas?
Normalmente se evalúan resultados y restricciones. Varias secuencias pueden resolver la misma tarea.
¿Los umbrales de aprobación del ejemplo son universales?
No. Usa riesgo, etiquetas humanas y tu referencia medida; los ejemplos no son normas de certificación.
Más skills de IA
Skills relacionadas
Skill Dev-Browser
Comunidad · Sawyer HoodAutomatiza Chrome con páginas persistentes, scripts Puppeteer y un servicio local de línea de comandos.Skill Context Degradation
Comunidad · Muratcan KoylanDiagnostica fallos en contextos largos y planifica la recuperación con hechos verificados y comparaciones de tareas reales.Skill Tool Design
Comunidad · Muratcan KoylanDiseña contratos de herramientas con entradas, salidas, criterios de selección y errores recuperables claros.Skill Advanced Evaluation
Comunidad · Muratcan KoylanDiseña jueces LLM con rúbricas basadas en pruebas, comparaciones invertidas y calibración humana.Skill Brainstorming
Comunidad · Jesse Vincent / Prime RadiantConvierte una idea inicial en un diseño acordado antes de implementar.Skill Writing Plans
Comunidad · Jesse Vincent / Prime RadiantConvierte un diseño aprobado en tareas revisables con interfaces y verificación.