Advanced-Evaluation-Skill
LLM-Richter mit belegbasierten Rastern, vertauschten Paarvergleichen und menschlicher Kalibrierung entwerfen.
Community · Muratcan Koylan| Autor | Muratcan Koylan |
|---|---|
| Lizenz | MIT |
| Quelle | muratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md auf GitHub |
| Funktioniert in | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| Aus der Quelle gelesen am |
Der Skill advanced-evaluation entwirft modellgestützte Bewertungen von Agent-Ausgaben.
Er behandelt direkte Wertung und Paarvergleiche mit Rastern, Belegen und Bias-Prüfungen. Python-Beispiele zeigen Strukturen statt einen echten Richter aufzurufen.
Aus der SKILL.md des Skills: ## Gotchas
Was er macht
- Direkte Wertung oder Paarvergleich passend zur Aufgabe wählen.
- Wertungsstufen definieren und Belege verlangen.
- Reihenfolge tauschen und gegen menschliche Labels kalibrieren.
Was du bekommst
- Richter-Prompts, Bewertungsraster und ein Bias-Kalibrierungsplan.
Wann er passt
- Ausgaben vergleichen, deren Qualität nicht allein deterministisch prüfbar ist.
Wann er nicht passt
- Unkalibrierte Modellwerte als objektive Wahrheit oder garantierte Wahrscheinlichkeit behandeln.
Was er braucht
- Ein dateifähiger Agent, Kandidatenantworten, Aufgabenkriterien und menschlich annotierte Beispiele.
- Live-Bewertung braucht eine Modellanbindung und kann kostenpflichtig sein. Das Python-Beispiel liefert vorbereitete Strukturen ohne Modellaufruf.
Dateien im Skill
| Datei oder Ordner | Wofür sie da ist |
|---|---|
SKILL.md | Richterentwurf, Paarvergleich und Kalibrierung. |
references/implementation-patterns.md | Python-Beispiele und Referenzen zu Implementierung, Bias, Metriken und Pipelines. |
scripts/evaluation_example.py | Python-Beispiele und Referenzen zu Implementierung, Bias, Metriken und Pipelines. |
Lizenz laut Repository am 2026-11-20: MIT.
Beispiel-Prompts
Gib nach der Installation einen dieser Prompts ein; wenn du den Skill beim Namen nennst, wird er sicher verwendet.
- Entwirf ein belegbasiertes Raster für diese Supportantworten.
- Vergleiche beide Reihenfolgen und ordne Gewinner den Originalkandidaten zu.
- Plane menschliche Kalibrierung und einen Test auf Ausführlichkeitsbias.
So installierst du advanced-evaluation
Referenzordner vollständig erhalten
Den gesamten Skill-Ordner kopieren. Das Plugin installiert die Sammlung, nicht nur diesen Richterentwurf-Skill.
Zum Lesen ist kein Anbieterschlüssel nötig. Für echte Bewertungen Client und Budget bereitstellen; gehosteter Upload und API ungeprüft.
Ein Skill ist ein Ordner mit einer SKILL.md-Datei. Du installierst ihn einmal; der Agent liest zu Beginn jeder Sitzung seine kurze Beschreibung und lädt die vollständigen Anweisungen nur, wenn eine Anfrage dazu passt. Wähle die Umgebung, die du nutzt:
Claude Code: aus dem Plugin-Marketplace
- Starte Claude Code in einem Terminal mit
claude. - Füge den Marketplace hinzu (einmal pro Computer):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - Installiere das Plugin. Claude Code zeigt zuerst seine Details: Prüfe, was es hinzufügt (Skills, Hooks, MCP-Server), und wähle dann, ob es für dich, für alle in diesem Repository oder nur für dich in diesem Repository gilt.
/plugin install context-engineering@context-engineering-marketplace - Tippe / und suche nach
/context-engineering:advanced-evaluation, oder bitte einfach um die Aufgabe.
Alternativ aus deiner Shell statt aus einer Sitzung:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplaceDas Plugin wird als Ganzes installiert, daher kommen weitere Skills mit, darunter context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.
Claude Code: den Ordner in deinen Skills-Ordner kopieren
Lege den Ordner des Skills in ~/.claude/skills/ ab, um ihn in jedem Projekt auf diesem Computer zu nutzen, oder in .claude/skills/ innerhalb eines Repositorys, um ihn mit allen zu teilen, die dort arbeiten (committe ihn).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/Claude Code erkennt neue oder geänderte Skills in diesen Ordnern noch während der Sitzung. Falls der Skills-Ordner beim Start der Sitzung noch nicht existierte, führe einmal /reload-skills aus. Tippe dann /advanced-evaluation oder beschreib einfach die Aufgabe.
Unter Windows führst du die Befehle in Git Bash oder WSL aus oder kopierst den Ordner mit dem Datei-Explorer an dieselbe Stelle.
Codex, Gemini CLI, Cursor und GitHub Copilot
Diese Agenten lesen dieselben SKILL.md-Ordner. Der einzige Projektordner, den alle vier akzeptieren, ist .agents/skills/; daher kopiert dieser Befehl den Skill dorthin:
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/| Agent | Projektordner | Dein Benutzerordner | Hinweise |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | Tippe $ oder führe /skills aus, um einen Skill auszuwählen; Codex wählt auch selbst einen, wenn deine Aufgabe passt. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | Oder installiere ihn mit gemini skills install <git URL> --path <folder> --consent aus Git. Google hat Gemini CLI für Nutzer der kostenlosen Stufe und von Google One am 18. Juni 2026 durch Antigravity CLI ersetzt; Antigravity nutzt .agents/skills/ im Projekt und ~/.gemini/config/skills/ für dich. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Tippe im Agent-Chat /, um einen Skill auszuwählen. Cursor liest auch die .claude/skills/-Ordner von Claude Code. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Funktioniert in Copilot CLI, im Cloud-Agenten und im Agent-Modus in VS Code, Visual Studio und JetBrains (IDE-Unterstützung hängt von der Version ab). Oder führe gh skill install OWNER/REPOSITORY SKILL aus (Public Preview, GitHub CLI 2.90.0 oder neuer). |
Quellen für diese Schritte
Am 2026-11-14 mit der Dokumentation des jeweiligen Anbieters abgeglichen:
Belege vor der Gesamtnote
Jede Wertungsstufe definieren und Beobachtungen verlangen. Deterministische Bedingungen vor dem Modellurteil prüfen.
Richtereingaben und Raster versionieren. Ein neues Richtermodell kann Werte ändern, obwohl die Kandidatenantwort gleich bleibt.
Kalibrierung und Uneinigkeit
Übereinstimmung mit menschlichen Labels anhand passender Metriken prüfen. Eine angegebene Sicherheit ist ohne Prüfung keine kalibrierte Wahrscheinlichkeit.
Uneinigkeit und Bias-Testfälle untersuchen. Wichtige oder widersprüchliche Urteile an Menschen eskalieren statt sie im Mittelwert zu verstecken.
Fragen zu advanced-evaluation
Ruft das Python-Beispiel ein LLM auf?
Nein. Es zeigt Prompts, Raster und vorbereitete Ausgaben. Einen echten Modellclient separat anbinden und prüfen.
Warum die Kandidatenreihenfolge umkehren?
Die Position kann Urteile beeinflussen. Ergebnisse erst Originalkandidaten zuordnen, dann Übereinstimmung prüfen; Widersprüche prüfen oder Vertrauen senken.
Beseitigt das Umkehren jeden Bias?
Nein. Auch Ausführlichkeit, Selbstbevorzugung und Autoritätssignale testen und mit menschlichen Labels vergleichen.
Wann eignet sich direkte Wertung?
Wenn klare Kriterien und Stufen helfen. Paarvergleiche eignen sich für relative Präferenzen; beides an der echten Aufgabe kalibrieren.
Weitere KI-Skills
Ähnliche Skills
Agent-Evaluation-Skill
Community · Muratcan KoylanRegressionen mit deterministischen Prüfungen, getrennten Qualitätsdimensionen und versionierten Referenzen planen.Context-Degradation-Skill
Community · Muratcan KoylanFehler langer Kontexte diagnostizieren und Wiederherstellung anhand belegter Fakten und aufgabenspezifischer Vergleiche planen.Dev-Browser-Skill
Community · Sawyer HoodChrome mit dauerhaften benannten Seiten, Puppeteer-Skripten und lokalem Kommandozeilendienst automatisieren.Tool-Design-Skill
Community · Muratcan KoylanWerkzeugschnittstellen mit klaren Eingaben, Ausgaben, Auswahlhinweisen und behebbaren Fehlern entwerfen.Brainstorming-Skill
Community · Jesse Vincent / Prime RadiantEntwickle eine erste Idee vor dem Programmieren zum abgestimmten Entwurf.Writing-Plans-Skill
Community · Jesse Vincent / Prime RadiantMache aus einem freigegebenen Entwurf prüfbare Aufgaben mit Schnittstellen und Verifikation.