Zum Inhalt springen

Agent-Evaluation-Skill

Regressionen mit deterministischen Prüfungen, getrennten Qualitätsdimensionen und versionierten Referenzen planen.

Community · Muratcan Koylan
AutorMuratcan Koylan
LizenzMIT
Quellemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md auf GitHub
Funktioniert inClaude Code · Codex, Gemini CLI, Cursor, Copilot
Aus der Quelle gelesen am

Der Skill evaluation entwirft Qualitätsprüfungen für Agenten in realistischen Aufgaben.

Er verbindet deterministische Validierung, getrennte Dimensionen und menschliche Prüfung. Richter-Prompts und Bias-Kalibrierung behandelt advanced-evaluation.

Aus der SKILL.md des Skills: ## Gotchas

Das ist ein Community-Skill von Muratcan Koylan, weder von uns noch von Anthropic geprüft. Skills können den Agenten anweisen, Code auszuführen, Dateien zu lesen oder auf das Netzwerk zuzugreifen. Lies vor der Installation seine SKILL.md und jedes Skript im Ordner und achte auf alles, was nicht zu seiner Beschreibung passt.

Was er macht

  1. Erwartete Ergebnisse und deterministische Prüfungen definieren.
  2. Repräsentative Fälle nach Komplexität und Budget aufbauen.
  3. Versionierte Referenzen vergleichen und Regressionen untersuchen.

Was du bekommst

  • Ein Prüfplan mit Rastern, Regressionen und Qualitätsgates.

Wann er passt

  • Änderungen an Agent, Werkzeugen oder Kontextstrategie wiederholbar vergleichen.

Wann er nicht passt

  • Beispielwerte als Faktenprüfung oder Produktionszertifikat behandeln.

Was er braucht

  • Ein dateifähiger Agent, repräsentative Fälle, Soll-Ergebnisse und Ablaufspuren.
  • Das Python-Beispiel enthält Platzhalterwerte und simulierte Ausgaben. Echte Ausführung, Prüfer und gegebenenfalls kostenpflichtige Modelle separat anbinden.

Dateien im Skill

Datei oder OrdnerWofür sie da ist
SKILL.mdBewertungsdimensionen, Testentwurf und Regressionen.
references/metrics.mdPython-Beispielprüfer und Metrikreferenz.
scripts/evaluator.pyPython-Beispielprüfer und Metrikreferenz.

Lizenz laut Repository am 2026-11-20: MIT.

Beispiel-Prompts

Gib nach der Installation einen dieser Prompts ein; wenn du den Skill beim Namen nennst, wird er sicher verwendet.

  • Entwirf Regressionstests mit Quellenprüfungen für diesen Rechercheagenten.
  • Trenne Antwortqualität und Werkzeugnutzungseffizienz im Bericht.
  • Definiere ein Qualitätsgate aus menschlich annotierten Referenzfällen.

So installierst du evaluation

Beispiele als Gerüst verwenden

Referenzen und Skripte mit SKILL.md kopieren. Das Plugin installiert die Context-Engineering-Sammlung.

Das Beispiel nutzt die Python-Standardbibliothek, führt aber keinen echten Agenten aus. Gehosteter Upload und API ungeprüft; Modellprüfungen nutzen eigenen Anbieter und Budget.

Ein Skill ist ein Ordner mit einer SKILL.md-Datei. Du installierst ihn einmal; der Agent liest zu Beginn jeder Sitzung seine kurze Beschreibung und lädt die vollständigen Anweisungen nur, wenn eine Anfrage dazu passt. Wähle die Umgebung, die du nutzt:

Claude Code: aus dem Plugin-Marketplace

  1. Starte Claude Code in einem Terminal mit claude.
  2. Füge den Marketplace hinzu (einmal pro Computer):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Installiere das Plugin. Claude Code zeigt zuerst seine Details: Prüfe, was es hinzufügt (Skills, Hooks, MCP-Server), und wähle dann, ob es für dich, für alle in diesem Repository oder nur für dich in diesem Repository gilt.
    /plugin install context-engineering@context-engineering-marketplace
  4. Tippe / und suche nach /context-engineering:evaluation, oder bitte einfach um die Aufgabe.

Alternativ aus deiner Shell statt aus einer Sitzung:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

Das Plugin wird als Ganzes installiert, daher kommen weitere Skills mit, darunter context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code: den Ordner in deinen Skills-Ordner kopieren

Lege den Ordner des Skills in ~/.claude/skills/ ab, um ihn in jedem Projekt auf diesem Computer zu nutzen, oder in .claude/skills/ innerhalb eines Repositorys, um ihn mit allen zu teilen, die dort arbeiten (committe ihn).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/

Claude Code erkennt neue oder geänderte Skills in diesen Ordnern noch während der Sitzung. Falls der Skills-Ordner beim Start der Sitzung noch nicht existierte, führe einmal /reload-skills aus. Tippe dann /evaluation oder beschreib einfach die Aufgabe.

Unter Windows führst du die Befehle in Git Bash oder WSL aus oder kopierst den Ordner mit dem Datei-Explorer an dieselbe Stelle.

Codex, Gemini CLI, Cursor und GitHub Copilot

Diese Agenten lesen dieselben SKILL.md-Ordner. Der einzige Projektordner, den alle vier akzeptieren, ist .agents/skills/; daher kopiert dieser Befehl den Skill dorthin:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/
AgentProjektordnerDein BenutzerordnerHinweise
OpenAI Codex
.agents/skills/
~/.agents/skills/
Tippe $ oder führe /skills aus, um einen Skill auszuwählen; Codex wählt auch selbst einen, wenn deine Aufgabe passt.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
Oder installiere ihn mit gemini skills install <git URL> --path <folder> --consent aus Git. Google hat Gemini CLI für Nutzer der kostenlosen Stufe und von Google One am 18. Juni 2026 durch Antigravity CLI ersetzt; Antigravity nutzt .agents/skills/ im Projekt und ~/.gemini/config/skills/ für dich.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Tippe im Agent-Chat /, um einen Skill auszuwählen. Cursor liest auch die .claude/skills/-Ordner von Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Funktioniert in Copilot CLI, im Cloud-Agenten und im Agent-Modus in VS Code, Visual Studio und JetBrains (IDE-Unterstützung hängt von der Version ab). Oder führe gh skill install OWNER/REPOSITORY SKILL aus (Public Preview, GitHub CLI 2.90.0 oder neuer).
Installiere nur Skills, denen du vertraust. Anthropic rät, Skills nur aus vertrauenswürdigen Quellen zu verwenden und bei allen anderen Skills vor der Nutzung jede Datei zu lesen: Ein Skill kann den Agenten anweisen, Befehle auszuführen, Dateien zu lesen oder Daten auf eine Weise zu senden, die seine Beschreibung nicht erwähnt.

Quellen für diese Schritte

Am 2026-11-14 mit der Dokumentation des jeweiligen Anbieters abgeglichen:

Unabhängige Qualitätsdimensionen

Richtigkeit, Vollständigkeit, Quellenbelege und Werkzeugverhalten getrennt berichten. Gewichtete Summen können kritische Einzelprobleme verdecken.

Zuerst Formate und Bedingungen deterministisch prüfen. Für verbleibende Fragen menschliche Stichproben und kalibrierte Modellrichter einsetzen.

Wiederholbare Regressionen

Fälle, Prompts, Modelle und Wertungsregeln versionieren. Reale Budgets und schwierige Fälle aufnehmen statt nur leichte Beispiele.

Ein Überwachungsplan ist kein installierter Dienst. Ablaufaufzeichnung, Stichproben, Aufbewahrung und Eskalation im echten System implementieren.

Fragen zu evaluation

Führt das Skript meinen Agenten automatisch aus?

Nein. Der Beispielläufer erzeugt simulierte Ausgaben. Erst echten Agenten anbinden und Ergebnisse erfassen, dann Werte vergleichen.

Beweist eine gefundene Quellenangabe deren Richtigkeit?

Nein. Textmarker prüfen weder Existenz noch Relevanz oder sachliche Belegkraft einer Quelle.

Muss jeder Erfolg dieselbe Werkzeugfolge verwenden?

Meist zählen Ergebnis und Bedingungen. Mehrere gültige Werkzeugpfade können dieselbe Aufgabe lösen.

Gelten die Beispielgrenzen allgemein?

Nein. Grenzen aus Risiko, menschlichen Labels und gemessener Referenz ableiten; Beispiele sind keine Zertifizierungsnorm.

Weitere KI-Skills

Ähnliche Skills

Skill-Kategorien