Saltar al contenido

Skill Agent Evaluation

Planifica regresiones con comprobaciones deterministas, dimensiones independientes y referencias versionadas.

Comunidad · Muratcan Koylan
AutorMuratcan Koylan
LicenciaMIT
Fuentemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md en GitHub
Funciona enClaude Code · Codex, Gemini CLI, Cursor, Copilot
Leída en la fuente el

El skill evaluation diseña controles de calidad para agentes en tareas realistas.

Combina validación determinista, dimensiones independientes y revisión humana. El skill advanced-evaluation cubre prompts del juez y calibración de sesgos.

Del SKILL.md de la skill: ## Gotchas

Esta es una skill de la comunidad creada por Muratcan Koylan, sin revisar por nosotros ni por Anthropic. Las skills pueden indicar al agente que ejecute código, lea archivos o acceda a la red. Antes de instalarla, lee su SKILL.md y cada script de la carpeta, y busca cualquier cosa que no encaje con lo que dice hacer.

Qué hace

  1. Definir resultados esperados y comprobaciones deterministas.
  2. Crear casos representativos de distintas complejidades y presupuestos.
  3. Comparar referencias versionadas e investigar regresiones.

Qué obtienes

  • Un plan de evaluación con rúbricas, casos de regresión y controles de calidad.

Cuándo usarla

  • Comparar de forma repetible cambios en un agente, sus herramientas o su contexto.

Cuándo no usarla

  • Tratar una puntuación de ejemplo como verificación factual o certificación de producción.

Qué necesita

  • Un agente con archivos, casos representativos, resultados esperados y trazas de ejecución.
  • El ejemplo Python usa puntuaciones provisionales y salidas simuladas. Debes aportar ejecutor, verificadores e integración con modelos de pago si procede.

Archivos de la skill

Archivo o carpetaPara qué sirve
SKILL.mdDimensiones de evaluación, diseño de pruebas y regresiones.
references/metrics.mdEjemplo de evaluador Python y referencia de métricas.
scripts/evaluator.pyEjemplo de evaluador Python y referencia de métricas.

Licencia según el repositorio el 2026-11-20: MIT.

Prompts de ejemplo

Escribe uno de estos después de instalarla; si nombras la skill, te aseguras de que se use.

  • Diseña regresiones para este agente investigador con controles de citas.
  • Separa calidad de respuesta y eficiencia de herramientas en el informe.
  • Define un control de calidad con nuestros casos de referencia etiquetados por humanos.

Cómo instalar evaluation

Usar los ejemplos como base

Copia referencias y scripts con SKILL.md. El plugin instala la colección de ingeniería de contexto.

El ejemplo usa la biblioteca estándar de Python, pero no ejecuta un agente real. Carga alojada y ejecución API no verificadas; los modelos usan tu proveedor y presupuesto.

Una skill es una carpeta con un archivo SKILL.md. La instalas una vez; el agente lee su breve descripción al empezar cada sesión y carga las instrucciones completas solo cuando una petición encaja. Elige dónde la usas:

Claude Code: desde el marketplace de plugins

  1. Abre Claude Code en una terminal con claude.
  2. Añade el marketplace (una vez por ordenador):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Instala el plugin. Claude Code muestra antes sus detalles: comprueba qué va a añadir (skills, hooks, servidores MCP) y elige si es para ti, para todos en este repositorio o solo para ti en este repositorio.
    /plugin install context-engineering@context-engineering-marketplace
  4. Escribe / y busca /context-engineering:evaluation, o simplemente pide la tarea.

Desde tu shell en lugar de una sesión:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

El plugin se instala completo, así que vienen otras skills con él, entre ellas context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code: copia la carpeta en tu carpeta de skills

Pon la carpeta de la skill en ~/.claude/skills/ para usarla en todos los proyectos de este ordenador, o en .claude/skills/ dentro de un repositorio para compartirla con todos los que trabajan en él (haz commit).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/

Claude Code detecta las skills nuevas o modificadas en estas carpetas durante la sesión. Si la carpeta de skills no existía al empezar la sesión, ejecuta /reload-skills una vez. Después escribe /evaluation o simplemente describe la tarea.

En Windows, ejecuta los comandos en Git Bash o WSL, o copia la carpeta al mismo sitio con el Explorador de archivos.

Codex, Gemini CLI, Cursor y GitHub Copilot

Estos agentes leen las mismas carpetas SKILL.md. La única carpeta que aceptan los cuatro dentro de un proyecto es .agents/skills/, así que esto copia la skill ahí:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/
AgenteCarpeta del proyectoTu carpeta de usuarioNotas
OpenAI Codex
.agents/skills/
~/.agents/skills/
Escribe $ o ejecuta /skills para elegir una skill; Codex también elige una cuando tu tarea encaja.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
O instálala desde Git con gemini skills install <git URL> --path <folder> --consent. El 18 de junio de 2026, Google sustituyó Gemini CLI por Antigravity CLI para los usuarios del nivel gratuito y de Google One; Antigravity usa .agents/skills/ en un proyecto y ~/.gemini/config/skills/ para ti.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Escribe / en el chat de Agent para elegir una skill. Cursor también lee las carpetas .claude/skills/ de Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Funciona en Copilot CLI, en el agente en la nube y en el modo agente de VS Code, Visual Studio y JetBrains (la compatibilidad con cada IDE depende de la versión). O ejecuta gh skill install OWNER/REPOSITORY SKILL (vista previa pública, GitHub CLI 2.90.0 o posterior).
Instala solo skills de confianza. Anthropic aconseja usar solo skills de fuentes de confianza y leer todos los archivos de cualquier otra skill antes de usarla: una skill puede indicar al agente que ejecute comandos, lea archivos o envíe datos de formas que su descripción no menciona.

Fuentes de estos pasos

Comprobado con la documentación de cada proveedor el 2026-11-14:

Dimensiones de calidad independientes

Informa por separado de corrección, integridad, respaldo de fuentes y uso de herramientas. Un total ponderado puede ocultar un fallo crítico.

Primero comprueba formatos y restricciones. Usa muestreo humano y jueces calibrados para lo que esas comprobaciones no resuelvan.

Regresiones reproducibles

Versiona casos, prompts, modelos y reglas de puntuación. Incluye presupuestos reales y casos difíciles, no solo ejemplos sencillos.

Un plan de seguimiento no es un servicio desplegado. Implementa recogida de trazas, muestreo, retención y escalado en producción.

Preguntas sobre evaluation

¿El script ejecuta mi agente automáticamente?

No. El ejecutor de muestra produce salidas simuladas. Conecta tu agente y registra resultados reales antes de comparar puntuaciones.

¿Encontrar una cita demuestra su corrección?

No. Los marcadores y patrones no verifican que la fuente exista, sea pertinente o respalde la afirmación.

¿Toda ejecución válida debe seguir idéntica secuencia de herramientas?

Normalmente se evalúan resultados y restricciones. Varias secuencias pueden resolver la misma tarea.

¿Los umbrales de aprobación del ejemplo son universales?

No. Usa riesgo, etiquetas humanas y tu referencia medida; los ejemplos no son normas de certificación.

Más skills de IA

Skills relacionadas

Categorías de skills