Zum Inhalt springen

Advanced-Evaluation-Skill

LLM-Richter mit belegbasierten Rastern, vertauschten Paarvergleichen und menschlicher Kalibrierung entwerfen.

Community · Muratcan Koylan
AutorMuratcan Koylan
LizenzMIT
Quellemuratcankoylan/Agent-Skills-for-Context-Engineering · SKILL.md auf GitHub
Funktioniert inClaude Code · Codex, Gemini CLI, Cursor, Copilot
Aus der Quelle gelesen am

Der Skill advanced-evaluation entwirft modellgestützte Bewertungen von Agent-Ausgaben.

Er behandelt direkte Wertung und Paarvergleiche mit Rastern, Belegen und Bias-Prüfungen. Python-Beispiele zeigen Strukturen statt einen echten Richter aufzurufen.

Aus der SKILL.md des Skills: ## Gotchas

Das ist ein Community-Skill von Muratcan Koylan, weder von uns noch von Anthropic geprüft. Skills können den Agenten anweisen, Code auszuführen, Dateien zu lesen oder auf das Netzwerk zuzugreifen. Lies vor der Installation seine SKILL.md und jedes Skript im Ordner und achte auf alles, was nicht zu seiner Beschreibung passt.

Was er macht

  1. Direkte Wertung oder Paarvergleich passend zur Aufgabe wählen.
  2. Wertungsstufen definieren und Belege verlangen.
  3. Reihenfolge tauschen und gegen menschliche Labels kalibrieren.

Was du bekommst

  • Richter-Prompts, Bewertungsraster und ein Bias-Kalibrierungsplan.

Wann er passt

  • Ausgaben vergleichen, deren Qualität nicht allein deterministisch prüfbar ist.

Wann er nicht passt

  • Unkalibrierte Modellwerte als objektive Wahrheit oder garantierte Wahrscheinlichkeit behandeln.

Was er braucht

  • Ein dateifähiger Agent, Kandidatenantworten, Aufgabenkriterien und menschlich annotierte Beispiele.
  • Live-Bewertung braucht eine Modellanbindung und kann kostenpflichtig sein. Das Python-Beispiel liefert vorbereitete Strukturen ohne Modellaufruf.

Dateien im Skill

Datei oder OrdnerWofür sie da ist
SKILL.mdRichterentwurf, Paarvergleich und Kalibrierung.
references/implementation-patterns.mdPython-Beispiele und Referenzen zu Implementierung, Bias, Metriken und Pipelines.
scripts/evaluation_example.pyPython-Beispiele und Referenzen zu Implementierung, Bias, Metriken und Pipelines.

Lizenz laut Repository am 2026-11-20: MIT.

Beispiel-Prompts

Gib nach der Installation einen dieser Prompts ein; wenn du den Skill beim Namen nennst, wird er sicher verwendet.

  • Entwirf ein belegbasiertes Raster für diese Supportantworten.
  • Vergleiche beide Reihenfolgen und ordne Gewinner den Originalkandidaten zu.
  • Plane menschliche Kalibrierung und einen Test auf Ausführlichkeitsbias.

So installierst du advanced-evaluation

Referenzordner vollständig erhalten

Den gesamten Skill-Ordner kopieren. Das Plugin installiert die Sammlung, nicht nur diesen Richterentwurf-Skill.

Zum Lesen ist kein Anbieterschlüssel nötig. Für echte Bewertungen Client und Budget bereitstellen; gehosteter Upload und API ungeprüft.

Ein Skill ist ein Ordner mit einer SKILL.md-Datei. Du installierst ihn einmal; der Agent liest zu Beginn jeder Sitzung seine kurze Beschreibung und lädt die vollständigen Anweisungen nur, wenn eine Anfrage dazu passt. Wähle die Umgebung, die du nutzt:

Claude Code: aus dem Plugin-Marketplace

  1. Starte Claude Code in einem Terminal mit claude.
  2. Füge den Marketplace hinzu (einmal pro Computer):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. Installiere das Plugin. Claude Code zeigt zuerst seine Details: Prüfe, was es hinzufügt (Skills, Hooks, MCP-Server), und wähle dann, ob es für dich, für alle in diesem Repository oder nur für dich in diesem Repository gilt.
    /plugin install context-engineering@context-engineering-marketplace
  4. Tippe / und suche nach /context-engineering:advanced-evaluation, oder bitte einfach um die Aufgabe.

Alternativ aus deiner Shell statt aus einer Sitzung:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

Das Plugin wird als Ganzes installiert, daher kommen weitere Skills mit, darunter context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops.

Claude Code: den Ordner in deinen Skills-Ordner kopieren

Lege den Ordner des Skills in ~/.claude/skills/ ab, um ihn in jedem Projekt auf diesem Computer zu nutzen, oder in .claude/skills/ innerhalb eines Repositorys, um ihn mit allen zu teilen, die dort arbeiten (committe ihn).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/

Claude Code erkennt neue oder geänderte Skills in diesen Ordnern noch während der Sitzung. Falls der Skills-Ordner beim Start der Sitzung noch nicht existierte, führe einmal /reload-skills aus. Tippe dann /advanced-evaluation oder beschreib einfach die Aufgabe.

Unter Windows führst du die Befehle in Git Bash oder WSL aus oder kopierst den Ordner mit dem Datei-Explorer an dieselbe Stelle.

Codex, Gemini CLI, Cursor und GitHub Copilot

Diese Agenten lesen dieselben SKILL.md-Ordner. Der einzige Projektordner, den alle vier akzeptieren, ist .agents/skills/; daher kopiert dieser Befehl den Skill dorthin:

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/
AgentProjektordnerDein BenutzerordnerHinweise
OpenAI Codex
.agents/skills/
~/.agents/skills/
Tippe $ oder führe /skills aus, um einen Skill auszuwählen; Codex wählt auch selbst einen, wenn deine Aufgabe passt.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
Oder installiere ihn mit gemini skills install <git URL> --path <folder> --consent aus Git. Google hat Gemini CLI für Nutzer der kostenlosen Stufe und von Google One am 18. Juni 2026 durch Antigravity CLI ersetzt; Antigravity nutzt .agents/skills/ im Projekt und ~/.gemini/config/skills/ für dich.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Tippe im Agent-Chat /, um einen Skill auszuwählen. Cursor liest auch die .claude/skills/-Ordner von Claude Code.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Funktioniert in Copilot CLI, im Cloud-Agenten und im Agent-Modus in VS Code, Visual Studio und JetBrains (IDE-Unterstützung hängt von der Version ab). Oder führe gh skill install OWNER/REPOSITORY SKILL aus (Public Preview, GitHub CLI 2.90.0 oder neuer).
Installiere nur Skills, denen du vertraust. Anthropic rät, Skills nur aus vertrauenswürdigen Quellen zu verwenden und bei allen anderen Skills vor der Nutzung jede Datei zu lesen: Ein Skill kann den Agenten anweisen, Befehle auszuführen, Dateien zu lesen oder Daten auf eine Weise zu senden, die seine Beschreibung nicht erwähnt.

Quellen für diese Schritte

Am 2026-11-14 mit der Dokumentation des jeweiligen Anbieters abgeglichen:

Belege vor der Gesamtnote

Jede Wertungsstufe definieren und Beobachtungen verlangen. Deterministische Bedingungen vor dem Modellurteil prüfen.

Richtereingaben und Raster versionieren. Ein neues Richtermodell kann Werte ändern, obwohl die Kandidatenantwort gleich bleibt.

Kalibrierung und Uneinigkeit

Übereinstimmung mit menschlichen Labels anhand passender Metriken prüfen. Eine angegebene Sicherheit ist ohne Prüfung keine kalibrierte Wahrscheinlichkeit.

Uneinigkeit und Bias-Testfälle untersuchen. Wichtige oder widersprüchliche Urteile an Menschen eskalieren statt sie im Mittelwert zu verstecken.

Fragen zu advanced-evaluation

Ruft das Python-Beispiel ein LLM auf?

Nein. Es zeigt Prompts, Raster und vorbereitete Ausgaben. Einen echten Modellclient separat anbinden und prüfen.

Warum die Kandidatenreihenfolge umkehren?

Die Position kann Urteile beeinflussen. Ergebnisse erst Originalkandidaten zuordnen, dann Übereinstimmung prüfen; Widersprüche prüfen oder Vertrauen senken.

Beseitigt das Umkehren jeden Bias?

Nein. Auch Ausführlichkeit, Selbstbevorzugung und Autoritätssignale testen und mit menschlichen Labels vergleichen.

Wann eignet sich direkte Wertung?

Wenn klare Kriterien und Stufen helfen. Paarvergleiche eignen sich für relative Präferenzen; beides an der echten Aufgabe kalibrieren.

Weitere KI-Skills

Ähnliche Skills

Skill-Kategorien