Skill Advanced Evaluation
Diseña jueces LLM con rúbricas basadas en pruebas, comparaciones invertidas y calibración humana.
Comunidad · Muratcan Koylan| Autor | Muratcan Koylan |
|---|---|
| Licencia | MIT |
| Fuente | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md en GitHub |
| Funciona en | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Leída en la fuente el |
El skill advanced-evaluation diseña evaluaciones de salidas de agentes asistidas por modelos.
Cubre puntuación directa y comparación por pares con rúbricas, pruebas y controles de sesgo. Sus ejemplos Python no llaman a un juez real.
Del SKILL.md de la skill: ## Gotchas
Qué hace
- Elegir puntuación directa o comparación por pares según la tarea.
- Definir niveles y exigir pruebas que respalden cada juicio.
- Invertir el orden y calibrar frente a etiquetas humanas.
Qué obtienes
- Prompts de juez, rúbricas y plan de calibración de sesgos.
Cuándo usarla
- Comparar salidas cuya calidad no se resuelve solo con reglas deterministas.
Cuándo no usarla
- Tratar una puntuación sin calibrar como verdad objetiva o probabilidad garantizada.
Qué necesita
- Un agente con archivos, salidas candidatas, criterios propios de la tarea y ejemplos etiquetados por humanos.
- Un juez real requiere integrar un modelo y puede generar costes. El ejemplo Python devuelve estructuras preparadas sin llamar a ningún modelo.
Archivos de la skill
| Archivo o carpeta | Para qué sirve |
|---|---|
SKILL.md | Diseño del juez, comparación por pares y calibración. |
references/implementation-patterns.md | Ejemplos Python y referencias de implementación, sesgos, métricas y procesos. |
scripts/evaluation_example.py | Ejemplos Python y referencias de implementación, sesgos, métricas y procesos. |
Licencia según el repositorio el 2026-11-20: MIT.
Prompts de ejemplo
Escribe uno de estos después de instalarla; si nombras la skill, te aseguras de que se use.
- Redacta una rúbrica basada en pruebas para estas respuestas de soporte.
- Compara ambos órdenes y asigna los ganadores a sus identidades originales.
- Planifica calibración humana y una prueba de sesgo por verbosidad.
Cómo instalar advanced-evaluation
Mantener intacta la carpeta de referencias
Copia el directorio completo. El plugin instala la colección, no solo este skill de diseño de jueces.
No necesitas una clave para leer los ejemplos. Aporta cliente real y presupuesto para evaluar; no se han verificado carga alojada ni ejecución API.
Una skill es una carpeta con un archivo SKILL.md. La instalas una vez; el agente lee su breve descripción al empezar cada sesión y carga las instrucciones completas solo cuando una petición encaja. Elige dónde la usas:
Claude Code: desde el marketplace de plugins
- Abre Claude Code en una terminal con
claude. - Añade el marketplace (una vez por ordenador):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Instala el plugin. Claude Code muestra antes sus detalles: comprueba qué va a añadir (skills, hooks, servidores MCP) y elige si es para ti, para todos en este repositorio o solo para ti en este repositorio.
/plugin install context-engineering@context-engineering-marketplace - Escribe / y busca
/context-engineering:advanced-evaluation, o simplemente pide la tarea.
Desde tu shell en lugar de una sesión:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceEl plugin se instala completo, así que vienen otras skills con él, entre ellas context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code: copia la carpeta en tu carpeta de skills
Pon la carpeta de la skill en ~/.claude/skills/ para usarla en todos los proyectos de este ordenador, o en .claude/skills/ dentro de un repositorio para compartirla con todos los que trabajan en él (haz commit).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/Claude Code detecta las skills nuevas o modificadas en estas carpetas durante la sesión. Si la carpeta de skills no existía al empezar la sesión, ejecuta /reload-skills una vez. Después escribe /advanced-evaluation o simplemente describe la tarea.
En Windows, ejecuta los comandos en Git Bash o WSL, o copia la carpeta al mismo sitio con el Explorador de archivos.
Codex, Gemini CLI, Cursor y GitHub Copilot
Estos agentes leen las mismas carpetas SKILL.md. La única carpeta que aceptan los cuatro dentro de un proyecto es .agents/skills/, así que esto copia la skill ahí:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/| Agente | Carpeta del proyecto | Tu carpeta de usuario | Notas |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Escribe $ o ejecuta /skills para elegir una skill; Codex también elige una cuando tu tarea encaja. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | O instálala desde Git con gemini skills install <git URL> --path <folder> --consent. El 18 de junio de 2026, Google sustituyó Gemini CLI por Antigravity CLI para los usuarios del nivel gratuito y de Google One; Antigravity usa .agents/skills/ en un proyecto y ~/.gemini/config/skills/ para ti. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Escribe / en el chat de Agent para elegir una skill. Cursor también lee las carpetas .claude/skills/ de Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Funciona en Copilot CLI, en el agente en la nube y en el modo agente de VS Code, Visual Studio y JetBrains (la compatibilidad con cada IDE depende de la versión). O ejecuta gh skill install OWNER/REPOSITORY SKILL (vista previa pública, GitHub CLI 2.90.0 o posterior). |
Fuentes de estos pasos
Comprobado con la documentación de cada proveedor el 2026-11-14:
Pruebas antes de la puntuación global
Define cada nivel y exige observaciones que lo respalden. Valida restricciones deterministas antes de pedir al modelo que juzgue la calidad restante.
Versiona entradas y rúbricas. Cambiar el modelo juez puede alterar puntuaciones aunque la respuesta candidata no cambie.
Calibración y desacuerdos
Mide el acuerdo con etiquetas humanas usando métricas adecuadas. Una confianza declarada no es una probabilidad calibrada sin haberlo probado.
Inspecciona desacuerdos y pruebas de sesgo. Escala juicios importantes o contradictorios a una persona en lugar de ocultarlos en un promedio.
Preguntas sobre advanced-evaluation
¿El ejemplo Python llama a un LLM?
No. Muestra prompts, rúbricas y estructuras preparadas. Integra y valida un cliente real por separado.
¿Por qué invertir el orden de los candidatos?
La posición puede influir. Reasigna los resultados a cada candidato original antes de comprobar acuerdo; las contradicciones exigen revisión o menor confianza.
¿Invertir el orden elimina todos los sesgos?
No. Prueba verbosidad, preferencia por el propio modelo y señales de autoridad, y compara con etiquetas humanas.
¿Cuándo usar puntuación directa?
Cuando ayuden criterios y niveles explícitos. La comparación por pares sirve para preferencias relativas; calibra ambas en tu tarea.
Más skills de IA
Skills relacionadas
Skill Agent Evaluation
Comunidad · Muratcan KoylanPlanifica regresiones con comprobaciones deterministas, dimensiones independientes y referencias versionadas.Skill Context Degradation
Comunidad · Muratcan KoylanDiagnostica fallos en contextos largos y planifica la recuperación con hechos verificados y comparaciones de tareas reales.Skill Dev-Browser
Comunidad · Sawyer HoodAutomatiza Chrome con páginas persistentes, scripts Puppeteer y un servicio local de línea de comandos.Skill Tool Design
Comunidad · Muratcan KoylanDiseña contratos de herramientas con entradas, salidas, criterios de selección y errores recuperables claros.Skill Brainstorming
Comunidad · Jesse Vincent / Prime RadiantConvierte una idea inicial en un diseño acordado antes de implementar.Skill Writing Plans
Comunidad · Jesse Vincent / Prime RadiantConvierte un diseño aprobado en tareas revisables con interfaces y verificación.