본문으로 건너뛰기

Advanced Evaluation 스킬

근거 기반 평가표, 순서를 바꾼 비교와 사람 보정으로 LLM 심사자를 설계합니다.

커뮤니티 · Muratcan Koylan
작성자Muratcan Koylan
라이선스MIT
소스muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub의 SKILL.md
작동 환경Claude Code · Codex, Gemini CLI, Cursor, Copilot
소스 확인 날짜

advanced-evaluation 스킬은 에이전트 출력을 모델로 보조 심사하는 방법을 설계합니다.

직접 채점과 쌍대 비교에 기준, 근거와 편향 검사를 적용합니다. Python 예제는 구조를 보여 주며 실제 심사 모델을 호출하지 않습니다.

스킬의 SKILL.md에서: ## Gotchas

Muratcan Koylan의 커뮤니티 스킬로, 저희나 Anthropic이 검토하지 않았습니다. 스킬은 에이전트에게 코드 실행, 파일 읽기, 네트워크 호출을 지시할 수 있습니다. 설치하기 전에 SKILL.md와 폴더 안의 모든 스크립트를 읽고, 설명과 맞지 않는 동작이 없는지 확인하세요.

하는 일

  1. 작업에 맞게 직접 채점 또는 쌍대 비교를 선택합니다.
  2. 채점 수준을 정의하고 판단 근거를 요구합니다.
  3. 후보 순서를 바꾸고 사람 라벨로 보정합니다.

얻을 수 있는 결과물

  • 심사 프롬프트, 평가표와 편향 보정 계획.

이럴 때 사용하세요

  • 결정적 검사만으로 품질을 판단할 수 없는 출력을 비교할 때.

이럴 때는 맞지 않습니다

  • 보정하지 않은 모델 점수를 객관적 진실이나 보장된 확률로 간주하는 용도.

필요한 것

  • 파일 지원 에이전트, 후보 출력, 작업별 기준과 사람 라벨 예제가 필요합니다.
  • 실제 심사는 모델 연동이 필요하며 요금이 발생할 수 있습니다. Python 예제는 모델 호출 없이 준비된 구조를 반환합니다.

스킬에 들어 있는 파일

파일 또는 폴더용도
SKILL.md심사자 설계, 쌍대 비교와 보정 지침.
references/implementation-patterns.mdPython 예제와 구현, 편향, 지표, 파이프라인 참고 자료.
scripts/evaluation_example.pyPython 예제와 구현, 편향, 지표, 파이프라인 참고 자료.

2026-11-20 기준 저장소에 있는 라이선스: MIT.

예시 프롬프트

설치한 뒤 아래 중 하나를 입력해 보세요. 스킬 이름을 넣으면 그 스킬이 확실히 사용됩니다.

  • 이 고객지원 답변에 근거 기반 평가표를 작성해 주세요.
  • 두 후보 순서를 비교하고 승자를 원래 후보 식별자로 돌려 주세요.
  • 사람 보정과 장황함 편향 테스트를 계획해 주세요.

advanced-evaluation 설치 방법

참고 자료 폴더 유지

전체 스킬 디렉터리를 복사하세요. 플러그인은 이 심사 설계 스킬만이 아니라 모음을 설치합니다.

예제를 읽는 데 공급자 키는 필요 없습니다. 실제 평가용 클라이언트와 예산을 제공하세요. 호스팅 업로드와 API는 미검증입니다.

스킬은 SKILL.md 파일이 든 폴더입니다. 한 번만 설치하면, 에이전트가 세션을 시작할 때마다 짧은 설명을 읽고 요청이 맞을 때만 전체 지침을 불러옵니다. 사용하는 곳을 고르세요.

Claude Code: 플러그인 마켓플레이스에서 설치

  1. 터미널에서 claude로 Claude Code를 시작합니다.
  2. 마켓플레이스를 추가합니다(컴퓨터마다 한 번):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. 플러그인을 설치합니다. Claude Code가 먼저 세부 정보를 보여 줍니다. 무엇이 추가되는지(스킬, 훅, MCP 서버) 확인한 다음, 나만 쓸지, 이 저장소의 모든 사람이 쓸지, 이 저장소에서 나만 쓸지 고르세요.
    /plugin install context-engineering@context-engineering-marketplace
  4. /를 입력해 /context-engineering:advanced-evaluation가 있는지 확인하거나, 그냥 작업을 요청하세요.

세션 대신 셸에서 설치하려면:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

플러그인은 통째로 설치되므로 context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops 등 다른 스킬도 함께 설치됩니다.

Claude Code: 스킬 폴더에 복사

이 컴퓨터의 모든 프로젝트에서 쓰려면 스킬 폴더를 ~/.claude/skills/에 넣고, 저장소에서 함께 작업하는 모든 사람과 공유하려면 저장소 안의 .claude/skills/에 넣으세요(커밋하세요).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation ~/.claude/skills/

Claude Code는 세션 중에도 이 폴더의 새 스킬이나 변경된 스킬을 알아챕니다. 세션을 시작할 때 skills 폴더가 없었다면 /reload-skills를 한 번 실행하세요. 그런 다음 /advanced-evaluation를 입력하거나 작업을 설명하면 됩니다.

Windows에서는 Git Bash나 WSL에서 명령어를 실행하거나, 파일 탐색기로 같은 위치에 폴더를 복사하세요.

Codex, Gemini CLI, Cursor, GitHub Copilot

이 에이전트들은 같은 SKILL.md 폴더를 읽습니다. 네 가지 모두가 프로젝트 안에서 인식하는 폴더는 .agents/skills/이므로, 아래 명령은 스킬을 그곳에 복사합니다.

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/advanced-evaluation .agents/skills/
에이전트프로젝트 폴더사용자 폴더참고
OpenAI Codex
.agents/skills/
~/.agents/skills/
$를 입력하거나 /skills를 실행해 스킬을 고르세요. 작업이 맞으면 Codex가 스스로 스킬을 고르기도 합니다.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
또는 gemini skills install <git URL> --path <folder> --consent로 Git에서 설치하세요. Google은 2026년 6월 18일 무료 등급과 Google One 사용자의 Gemini CLI를 Antigravity CLI로 대체했습니다. Antigravity는 프로젝트에서는 .agents/skills/를, 사용자용으로는 ~/.gemini/config/skills/를 사용합니다.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Agent 채팅에서 /를 입력해 스킬을 고르세요. Cursor는 Claude Code의 .claude/skills/ 폴더도 읽습니다.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Copilot CLI, 클라우드 에이전트, 그리고 VS Code, Visual Studio, JetBrains의 에이전트 모드에서 작동합니다(IDE 지원은 버전에 따라 다름). 또는 gh skill install OWNER/REPOSITORY SKILL를 실행하세요(공개 프리뷰, GitHub CLI 2.90.0 이상).
신뢰할 수 있는 스킬만 설치하세요. Anthropic은 신뢰할 수 있는 출처의 스킬만 사용하고, 그 밖의 스킬은 사용하기 전에 모든 파일을 읽어 보라고 권합니다. 스킬은 설명에 나오지 않는 방식으로 에이전트에게 명령어 실행, 파일 읽기, 데이터 전송을 지시할 수 있기 때문입니다.

이 단계의 출처

2026-11-14에 각 업체의 문서와 대조해 확인했습니다:

총점보다 먼저 근거

각 점수 수준을 정의하고 뒷받침하는 관찰을 요구하세요. 결정적 제약을 먼저 검증한 뒤 남은 품질을 모델에 맡깁니다.

심사 입력과 평가표를 버전 관리하세요. 후보가 같아도 심사 모델 변경으로 점수가 달라질 수 있습니다.

보정과 불일치

적합한 지표로 사람 라벨과의 일치를 측정하세요. 검증되지 않은 신뢰 수치는 보정된 확률이 아닙니다.

불일치와 편향 사례를 점검하세요. 중요하거나 일관되지 않은 판단을 평균에 숨기지 말고 사람 검토로 넘기세요.

advanced-evaluation에 관한 질문

Python 예제가 LLM을 호출하나요?

아닙니다. 프롬프트, 평가표와 준비된 출력을 보여 줍니다. 실제 모델 클라이언트는 별도로 연결하고 검증하세요.

후보 순서를 왜 뒤집나요?

위치가 판단에 영향을 줄 수 있습니다. 원래 후보에 결과를 대응시킨 뒤 일치를 확인하고 모순은 재검토하거나 신뢰도를 낮추세요.

순서를 바꾸면 모든 편향이 사라지나요?

아닙니다. 장황함, 자기 선호와 권위 단서도 검사하고 사람 라벨과 비교하세요.

직접 채점은 언제 사용하나요?

명확한 기준과 수준이 유용할 때 사용합니다. 상대 선호에는 쌍대 비교가 도움이 됩니다. 둘 다 실제 작업에서 보정하세요.

더 많은 AI 스킬

관련 스킬

스킬 카테고리