Saltar al contenido

Skill Advanced Evaluation

Diseña jueces LLM con rúbricas basadas en pruebas, comparaciones invertidas y calibración humana.

Comunidad · Muratcan Koylan
AutorMuratcan Koylan
LicenciaMIT
Fuentemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md en GitHub
Funciona enClaude Code · Codex, Gemini CLI, Cursor, Copilot
Leída en la fuente el

El skill advanced-evaluation diseña evaluaciones de salidas de agentes asistidas por modelos.

Cubre puntuación directa y comparación por pares con rúbricas, pruebas y controles de sesgo. Sus ejemplos Python no llaman a un juez real.

Del SKILL.md de la skill: ## Gotchas

Esta es una skill de la comunidad creada por Muratcan Koylan, sin revisar por nosotros ni por Anthropic. Las skills pueden indicar al agente que ejecute código, lea archivos o acceda a la red. Antes de instalarla, lee su SKILL.md y cada script de la carpeta, y busca cualquier cosa que no encaje con lo que dice hacer.

Qué hace

  1. Elegir puntuación directa o comparación por pares según la tarea.
  2. Definir niveles y exigir pruebas que respalden cada juicio.
  3. Invertir el orden y calibrar frente a etiquetas humanas.

Qué obtienes

  • Prompts de juez, rúbricas y plan de calibración de sesgos.

Cuándo usarla

  • Comparar salidas cuya calidad no se resuelve solo con reglas deterministas.

Cuándo no usarla

  • Tratar una puntuación sin calibrar como verdad objetiva o probabilidad garantizada.

Qué necesita

  • Un agente con archivos, salidas candidatas, criterios propios de la tarea y ejemplos etiquetados por humanos.
  • Un juez real requiere integrar un modelo y puede generar costes. El ejemplo Python devuelve estructuras preparadas sin llamar a ningún modelo.

Archivos de la skill

Archivo o carpetaPara qué sirve
SKILL.mdDiseño del juez, comparación por pares y calibración.
references/implementation-patterns.mdEjemplos Python y referencias de implementación, sesgos, métricas y procesos.
scripts/evaluation_example.pyEjemplos Python y referencias de implementación, sesgos, métricas y procesos.

Licencia según el repositorio el 2026-11-20: MIT.

Prompts de ejemplo

Escribe uno de estos después de instalarla; si nombras la skill, te aseguras de que se use.

  • Redacta una rúbrica basada en pruebas para estas respuestas de soporte.
  • Compara ambos órdenes y asigna los ganadores a sus identidades originales.
  • Planifica calibración humana y una prueba de sesgo por verbosidad.

Cómo instalar advanced-evaluation

Mantener intacta la carpeta de referencias

Copia el directorio completo. El plugin instala la colección, no solo este skill de diseño de jueces.

No necesitas una clave para leer los ejemplos. Aporta cliente real y presupuesto para evaluar; no se han verificado carga alojada ni ejecución API.

Una skill es una carpeta con un archivo SKILL.md. La instalas una vez; el agente lee su breve descripción al empezar cada sesión y carga las instrucciones completas solo cuando una petición encaja. Elige dónde la usas:

Claude Code: desde el marketplace de plugins

  1. Abre Claude Code en una terminal con claude.
  2. Añade el marketplace (una vez por ordenador):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Instala el plugin. Claude Code muestra antes sus detalles: comprueba qué va a añadir (skills, hooks, servidores MCP) y elige si es para ti, para todos en este repositorio o solo para ti en este repositorio.
    /plugin install context-engineering@context-engineering-marketplace
  4. Escribe / y busca /context-engineering:advanced-evaluation, o simplemente pide la tarea.

Desde tu shell en lugar de una sesión:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

El plugin se instala completo, así que vienen otras skills con él, entre ellas context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code: copia la carpeta en tu carpeta de skills

Pon la carpeta de la skill en ~/.claude/skills/ para usarla en todos los proyectos de este ordenador, o en .claude/skills/ dentro de un repositorio para compartirla con todos los que trabajan en él (haz commit).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/

Claude Code detecta las skills nuevas o modificadas en estas carpetas durante la sesión. Si la carpeta de skills no existía al empezar la sesión, ejecuta /reload-skills una vez. Después escribe /advanced-evaluation o simplemente describe la tarea.

En Windows, ejecuta los comandos en Git Bash o WSL, o copia la carpeta al mismo sitio con el Explorador de archivos.

Codex, Gemini CLI, Cursor y GitHub Copilot

Estos agentes leen las mismas carpetas SKILL.md. La única carpeta que aceptan los cuatro dentro de un proyecto es .agents/skills/, así que esto copia la skill ahí:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/
AgenteCarpeta del proyectoTu carpeta de usuarioNotas
OpenAI Codex
.agents/skills/
~/.agents/skills/
Escribe $ o ejecuta /skills para elegir una skill; Codex también elige una cuando tu tarea encaja.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
O instálala desde Git con gemini skills install <git URL> --path <folder> --consent. El 18 de junio de 2026, Google sustituyó Gemini CLI por Antigravity CLI para los usuarios del nivel gratuito y de Google One; Antigravity usa .agents/skills/ en un proyecto y ~/.gemini/config/skills/ para ti.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Escribe / en el chat de Agent para elegir una skill. Cursor también lee las carpetas .claude/skills/ de Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Funciona en Copilot CLI, en el agente en la nube y en el modo agente de VS Code, Visual Studio y JetBrains (la compatibilidad con cada IDE depende de la versión). O ejecuta gh skill install OWNER/REPOSITORY SKILL (vista previa pública, GitHub CLI 2.90.0 o posterior).
Instala solo skills de confianza. Anthropic aconseja usar solo skills de fuentes de confianza y leer todos los archivos de cualquier otra skill antes de usarla: una skill puede indicar al agente que ejecute comandos, lea archivos o envíe datos de formas que su descripción no menciona.

Fuentes de estos pasos

Comprobado con la documentación de cada proveedor el 2026-11-14:

Pruebas antes de la puntuación global

Define cada nivel y exige observaciones que lo respalden. Valida restricciones deterministas antes de pedir al modelo que juzgue la calidad restante.

Versiona entradas y rúbricas. Cambiar el modelo juez puede alterar puntuaciones aunque la respuesta candidata no cambie.

Calibración y desacuerdos

Mide el acuerdo con etiquetas humanas usando métricas adecuadas. Una confianza declarada no es una probabilidad calibrada sin haberlo probado.

Inspecciona desacuerdos y pruebas de sesgo. Escala juicios importantes o contradictorios a una persona en lugar de ocultarlos en un promedio.

Preguntas sobre advanced-evaluation

¿El ejemplo Python llama a un LLM?

No. Muestra prompts, rúbricas y estructuras preparadas. Integra y valida un cliente real por separado.

¿Por qué invertir el orden de los candidatos?

La posición puede influir. Reasigna los resultados a cada candidato original antes de comprobar acuerdo; las contradicciones exigen revisión o menor confianza.

¿Invertir el orden elimina todos los sesgos?

No. Prueba verbosidad, preferencia por el propio modelo y señales de autoridad, y compara con etiquetas humanas.

¿Cuándo usar puntuación directa?

Cuando ayuden criterios y niveles explícitos. La comparación por pares sirve para preferencias relativas; calibra ambas en tu tarea.

Más skills de IA

Skills relacionadas

Categorías de skills