Advanced Evaluation 스킬
근거 기반 평가표, 순서를 바꾼 비교와 사람 보정으로 LLM 심사자를 설계합니다.
커뮤니티 · Muratcan Koylan| 작성자 | Muratcan Koylan |
|---|---|
| 라이선스 | MIT |
| 소스 | muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub의 SKILL.md |
| 작동 환경 | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| 소스 확인 날짜 |
advanced-evaluation 스킬은 에이전트 출력을 모델로 보조 심사하는 방법을 설계합니다.
직접 채점과 쌍대 비교에 기준, 근거와 편향 검사를 적용합니다. Python 예제는 구조를 보여 주며 실제 심사 모델을 호출하지 않습니다.
스킬의 SKILL.md에서: ## Gotchas
하는 일
- 작업에 맞게 직접 채점 또는 쌍대 비교를 선택합니다.
- 채점 수준을 정의하고 판단 근거를 요구합니다.
- 후보 순서를 바꾸고 사람 라벨로 보정합니다.
얻을 수 있는 결과물
- 심사 프롬프트, 평가표와 편향 보정 계획.
이럴 때 사용하세요
- 결정적 검사만으로 품질을 판단할 수 없는 출력을 비교할 때.
이럴 때는 맞지 않습니다
- 보정하지 않은 모델 점수를 객관적 진실이나 보장된 확률로 간주하는 용도.
필요한 것
- 파일 지원 에이전트, 후보 출력, 작업별 기준과 사람 라벨 예제가 필요합니다.
- 실제 심사는 모델 연동이 필요하며 요금이 발생할 수 있습니다. Python 예제는 모델 호출 없이 준비된 구조를 반환합니다.
스킬에 들어 있는 파일
| 파일 또는 폴더 | 용도 |
|---|---|
SKILL.md | 심사자 설계, 쌍대 비교와 보정 지침. |
references/implementation-patterns.md | Python 예제와 구현, 편향, 지표, 파이프라인 참고 자료. |
scripts/evaluation_example.py | Python 예제와 구현, 편향, 지표, 파이프라인 참고 자료. |
2026-11-20 기준 저장소에 있는 라이선스: MIT.
예시 프롬프트
설치한 뒤 아래 중 하나를 입력해 보세요. 스킬 이름을 넣으면 그 스킬이 확실히 사용됩니다.
- 이 고객지원 답변에 근거 기반 평가표를 작성해 주세요.
- 두 후보 순서를 비교하고 승자를 원래 후보 식별자로 돌려 주세요.
- 사람 보정과 장황함 편향 테스트를 계획해 주세요.
advanced-evaluation 설치 방법
참고 자료 폴더 유지
전체 스킬 디렉터리를 복사하세요. 플러그인은 이 심사 설계 스킬만이 아니라 모음을 설치합니다.
예제를 읽는 데 공급자 키는 필요 없습니다. 실제 평가용 클라이언트와 예산을 제공하세요. 호스팅 업로드와 API는 미검증입니다.
스킬은 SKILL.md 파일이 든 폴더입니다. 한 번만 설치하면, 에이전트가 세션을 시작할 때마다 짧은 설명을 읽고 요청이 맞을 때만 전체 지침을 불러옵니다. 사용하는 곳을 고르세요.
Claude Code: 플러그인 마켓플레이스에서 설치
- 터미널에서
claude로 Claude Code를 시작합니다. - 마켓플레이스를 추가합니다(컴퓨터마다 한 번):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - 플러그인을 설치합니다. Claude Code가 먼저 세부 정보를 보여 줍니다. 무엇이 추가되는지(스킬, 훅, MCP 서버) 확인한 다음, 나만 쓸지, 이 저장소의 모든 사람이 쓸지, 이 저장소에서 나만 쓸지 고르세요.
/plugin install context-engineering@context-engineering-marketplace - /를 입력해
/context-engineering:advanced-evaluation가 있는지 확인하거나, 그냥 작업을 요청하세요.
세션 대신 셸에서 설치하려면:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace플러그인은 통째로 설치되므로 context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops 등 다른 스킬도 함께 설치됩니다.
Claude Code: 스킬 폴더에 복사
이 컴퓨터의 모든 프로젝트에서 쓰려면 스킬 폴더를 ~/.claude/skills/에 넣고, 저장소에서 함께 작업하는 모든 사람과 공유하려면 저장소 안의 .claude/skills/에 넣으세요(커밋하세요).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/Claude Code는 세션 중에도 이 폴더의 새 스킬이나 변경된 스킬을 알아챕니다. 세션을 시작할 때 skills 폴더가 없었다면 /reload-skills를 한 번 실행하세요. 그런 다음 /advanced-evaluation를 입력하거나 작업을 설명하면 됩니다.
Windows에서는 Git Bash나 WSL에서 명령어를 실행하거나, 파일 탐색기로 같은 위치에 폴더를 복사하세요.
Codex, Gemini CLI, Cursor, GitHub Copilot
이 에이전트들은 같은 SKILL.md 폴더를 읽습니다. 네 가지 모두가 프로젝트 안에서 인식하는 폴더는 .agents/skills/이므로, 아래 명령은 스킬을 그곳에 복사합니다.
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/| 에이전트 | 프로젝트 폴더 | 사용자 폴더 | 참고 |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | $를 입력하거나 /skills를 실행해 스킬을 고르세요. 작업이 맞으면 Codex가 스스로 스킬을 고르기도 합니다. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | 또는 gemini skills install <git URL> --path <folder> --consent로 Git에서 설치하세요. Google은 2026년 6월 18일 무료 등급과 Google One 사용자의 Gemini CLI를 Antigravity CLI로 대체했습니다. Antigravity는 프로젝트에서는 .agents/skills/를, 사용자용으로는 ~/.gemini/config/skills/를 사용합니다. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Agent 채팅에서 /를 입력해 스킬을 고르세요. Cursor는 Claude Code의 .claude/skills/ 폴더도 읽습니다. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Copilot CLI, 클라우드 에이전트, 그리고 VS Code, Visual Studio, JetBrains의 에이전트 모드에서 작동합니다(IDE 지원은 버전에 따라 다름). 또는 gh skill install OWNER/REPOSITORY SKILL를 실행하세요(공개 프리뷰, GitHub CLI 2.90.0 이상). |
이 단계의 출처
2026-11-14에 각 업체의 문서와 대조해 확인했습니다:
총점보다 먼저 근거
각 점수 수준을 정의하고 뒷받침하는 관찰을 요구하세요. 결정적 제약을 먼저 검증한 뒤 남은 품질을 모델에 맡깁니다.
심사 입력과 평가표를 버전 관리하세요. 후보가 같아도 심사 모델 변경으로 점수가 달라질 수 있습니다.
보정과 불일치
적합한 지표로 사람 라벨과의 일치를 측정하세요. 검증되지 않은 신뢰 수치는 보정된 확률이 아닙니다.
불일치와 편향 사례를 점검하세요. 중요하거나 일관되지 않은 판단을 평균에 숨기지 말고 사람 검토로 넘기세요.
advanced-evaluation에 관한 질문
Python 예제가 LLM을 호출하나요?
아닙니다. 프롬프트, 평가표와 준비된 출력을 보여 줍니다. 실제 모델 클라이언트는 별도로 연결하고 검증하세요.
후보 순서를 왜 뒤집나요?
위치가 판단에 영향을 줄 수 있습니다. 원래 후보에 결과를 대응시킨 뒤 일치를 확인하고 모순은 재검토하거나 신뢰도를 낮추세요.
순서를 바꾸면 모든 편향이 사라지나요?
아닙니다. 장황함, 자기 선호와 권위 단서도 검사하고 사람 라벨과 비교하세요.
직접 채점은 언제 사용하나요?
명확한 기준과 수준이 유용할 때 사용합니다. 상대 선호에는 쌍대 비교가 도움이 됩니다. 둘 다 실제 작업에서 보정하세요.
더 많은 AI 스킬
관련 스킬
Agent Evaluation 스킬
커뮤니티 · Muratcan Koylan결정적 검사, 독립된 품질 차원과 버전 관리 기준선으로 에이전트 회귀 테스트를 계획합니다.Context Degradation 스킬
커뮤니티 · Muratcan Koylan검증된 사실과 작업별 비교를 통해 긴 컨텍스트 오류를 진단하고 복구를 계획합니다.Dev-Browser 스킬
커뮤니티 · Sawyer Hood상태를 유지하는 이름 있는 페이지, Puppeteer 스크립트와 로컬 CLI 서비스로 Chrome을 자동화합니다.Tool Design 스킬
커뮤니티 · Muratcan Koylan입력, 출력, 선택 조건과 복구 가능한 오류를 명시한 에이전트 도구 계약을 설계합니다.Brainstorming 스킬
커뮤니티 · Jesse Vincent / Prime Radiant구현 전에 초기 아이디어를 합의된 설계로 정리합니다.Writing Plans 스킬
커뮤니티 · Jesse Vincent / Prime Radiant승인 설계를 인터페이스와 검증이 있는 검토 가능한 작업으로 전환합니다.