Agent-Evaluation-Skill
Regressionen mit deterministischen Prüfungen, getrennten Qualitätsdimensionen und versionierten Referenzen planen.
Community · Muratcan Koylan| Autor | Muratcan Koylan |
|---|---|
| Lizenz | MIT |
| Quelle | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md auf GitHub |
| Funktioniert in | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Aus der Quelle gelesen am |
Der Skill evaluation entwirft Qualitätsprüfungen für Agenten in realistischen Aufgaben.
Er verbindet deterministische Validierung, getrennte Dimensionen und menschliche Prüfung. Richter-Prompts und Bias-Kalibrierung behandelt advanced-evaluation.
Aus der SKILL.md des Skills: ## Gotchas
Was er macht
- Erwartete Ergebnisse und deterministische Prüfungen definieren.
- Repräsentative Fälle nach Komplexität und Budget aufbauen.
- Versionierte Referenzen vergleichen und Regressionen untersuchen.
Was du bekommst
- Ein Prüfplan mit Rastern, Regressionen und Qualitätsgates.
Wann er passt
- Änderungen an Agent, Werkzeugen oder Kontextstrategie wiederholbar vergleichen.
Wann er nicht passt
- Beispielwerte als Faktenprüfung oder Produktionszertifikat behandeln.
Was er braucht
- Ein dateifähiger Agent, repräsentative Fälle, Soll-Ergebnisse und Ablaufspuren.
- Das Python-Beispiel enthält Platzhalterwerte und simulierte Ausgaben. Echte Ausführung, Prüfer und gegebenenfalls kostenpflichtige Modelle separat anbinden.
Dateien im Skill
| Datei oder Ordner | Wofür sie da ist |
|---|---|
SKILL.md | Bewertungsdimensionen, Testentwurf und Regressionen. |
references/metrics.md | Python-Beispielprüfer und Metrikreferenz. |
scripts/evaluator.py | Python-Beispielprüfer und Metrikreferenz. |
Lizenz laut Repository am 2026-11-20: MIT.
Beispiel-Prompts
Gib nach der Installation einen dieser Prompts ein; wenn du den Skill beim Namen nennst, wird er sicher verwendet.
- Entwirf Regressionstests mit Quellenprüfungen für diesen Rechercheagenten.
- Trenne Antwortqualität und Werkzeugnutzungseffizienz im Bericht.
- Definiere ein Qualitätsgate aus menschlich annotierten Referenzfällen.
So installierst du evaluation
Beispiele als Gerüst verwenden
Referenzen und Skripte mit SKILL.md kopieren. Das Plugin installiert die Context-Engineering-Sammlung.
Das Beispiel nutzt die Python-Standardbibliothek, führt aber keinen echten Agenten aus. Gehosteter Upload und API ungeprüft; Modellprüfungen nutzen eigenen Anbieter und Budget.
Ein Skill ist ein Ordner mit einer SKILL.md-Datei. Du installierst ihn einmal; der Agent liest zu Beginn jeder Sitzung seine kurze Beschreibung und lädt die vollständigen Anweisungen nur, wenn eine Anfrage dazu passt. Wähle die Umgebung, die du nutzt:
Claude Code: aus dem Plugin-Marketplace
- Starte Claude Code in einem Terminal mit
claude. - Füge den Marketplace hinzu (einmal pro Computer):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Installiere das Plugin. Claude Code zeigt zuerst seine Details: Prüfe, was es hinzufügt (Skills, Hooks, MCP-Server), und wähle dann, ob es für dich, für alle in diesem Repository oder nur für dich in diesem Repository gilt.
/plugin install context-engineering@context-engineering-marketplace - Tippe / und suche nach
/context-engineering:evaluation, oder bitte einfach um die Aufgabe.
Alternativ aus deiner Shell statt aus einer Sitzung:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceDas Plugin wird als Ganzes installiert, daher kommen weitere Skills mit, darunter context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code: den Ordner in deinen Skills-Ordner kopieren
Lege den Ordner des Skills in ~/.claude/skills/ ab, um ihn in jedem Projekt auf diesem Computer zu nutzen, oder in .claude/skills/ innerhalb eines Repositorys, um ihn mit allen zu teilen, die dort arbeiten (committe ihn).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/Claude Code erkennt neue oder geänderte Skills in diesen Ordnern noch während der Sitzung. Falls der Skills-Ordner beim Start der Sitzung noch nicht existierte, führe einmal /reload-skills aus. Tippe dann /evaluation oder beschreib einfach die Aufgabe.
Unter Windows führst du die Befehle in Git Bash oder WSL aus oder kopierst den Ordner mit dem Datei-Explorer an dieselbe Stelle.
Codex, Gemini CLI, Cursor und GitHub Copilot
Diese Agenten lesen dieselben SKILL.md-Ordner. Der einzige Projektordner, den alle vier akzeptieren, ist .agents/skills/; daher kopiert dieser Befehl den Skill dorthin:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/| Agent | Projektordner | Dein Benutzerordner | Hinweise |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Tippe $ oder führe /skills aus, um einen Skill auszuwählen; Codex wählt auch selbst einen, wenn deine Aufgabe passt. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | Oder installiere ihn mit gemini skills install <git URL> --path <folder> --consent aus Git. Google hat Gemini CLI für Nutzer der kostenlosen Stufe und von Google One am 18. Juni 2026 durch Antigravity CLI ersetzt; Antigravity nutzt .agents/skills/ im Projekt und ~/.gemini/config/skills/ für dich. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Tippe im Agent-Chat /, um einen Skill auszuwählen. Cursor liest auch die .claude/skills/-Ordner von Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Funktioniert in Copilot CLI, im Cloud-Agenten und im Agent-Modus in VS Code, Visual Studio und JetBrains (IDE-Unterstützung hängt von der Version ab). Oder führe gh skill install OWNER/REPOSITORY SKILL aus (Public Preview, GitHub CLI 2.90.0 oder neuer). |
Quellen für diese Schritte
Am 2026-11-14 mit der Dokumentation des jeweiligen Anbieters abgeglichen:
Unabhängige Qualitätsdimensionen
Richtigkeit, Vollständigkeit, Quellenbelege und Werkzeugverhalten getrennt berichten. Gewichtete Summen können kritische Einzelprobleme verdecken.
Zuerst Formate und Bedingungen deterministisch prüfen. Für verbleibende Fragen menschliche Stichproben und kalibrierte Modellrichter einsetzen.
Wiederholbare Regressionen
Fälle, Prompts, Modelle und Wertungsregeln versionieren. Reale Budgets und schwierige Fälle aufnehmen statt nur leichte Beispiele.
Ein Überwachungsplan ist kein installierter Dienst. Ablaufaufzeichnung, Stichproben, Aufbewahrung und Eskalation im echten System implementieren.
Fragen zu evaluation
Führt das Skript meinen Agenten automatisch aus?
Nein. Der Beispielläufer erzeugt simulierte Ausgaben. Erst echten Agenten anbinden und Ergebnisse erfassen, dann Werte vergleichen.
Beweist eine gefundene Quellenangabe deren Richtigkeit?
Nein. Textmarker prüfen weder Existenz noch Relevanz oder sachliche Belegkraft einer Quelle.
Muss jeder Erfolg dieselbe Werkzeugfolge verwenden?
Meist zählen Ergebnis und Bedingungen. Mehrere gültige Werkzeugpfade können dieselbe Aufgabe lösen.
Gelten die Beispielgrenzen allgemein?
Nein. Grenzen aus Risiko, menschlichen Labels und gemessener Referenz ableiten; Beispiele sind keine Zertifizierungsnorm.
Weitere KI-Skills
Ähnliche Skills
Dev-Browser-Skill
Community · Sawyer HoodChrome mit dauerhaften benannten Seiten, Puppeteer-Skripten und lokalem Kommandozeilendienst automatisieren.Context-Degradation-Skill
Community · Muratcan KoylanFehler langer Kontexte diagnostizieren und Wiederherstellung anhand belegter Fakten und aufgabenspezifischer Vergleiche planen.Tool-Design-Skill
Community · Muratcan KoylanWerkzeugschnittstellen mit klaren Eingaben, Ausgaben, Auswahlhinweisen und behebbaren Fehlern entwerfen.Advanced-Evaluation-Skill
Community · Muratcan KoylanLLM-Richter mit belegbasierten Rastern, vertauschten Paarvergleichen und menschlicher Kalibrierung entwerfen.Brainstorming-Skill
Community · Jesse Vincent / Prime RadiantEntwickle eine erste Idee vor dem Programmieren zum abgestimmten Entwurf.Writing-Plans-Skill
Community · Jesse Vincent / Prime RadiantMache aus einem freigegebenen Entwurf prüfbare Aufgaben mit Schnittstellen und Verifikation.