Agent Evaluation 스킬
결정적 검사, 독립된 품질 차원과 버전 관리 기준선으로 에이전트 회귀 테스트를 계획합니다.
커뮤니티 · Muratcan Koylan| 작성자 | Muratcan Koylan |
|---|---|
| 라이선스 | MIT |
| 소스 | muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub의 SKILL.md |
| 작동 환경 | Claude Code · Codex, Gemini CLI, Cursor, Copilot |
| 소스 확인 날짜 |
evaluation 스킬은 현실적인 작업에서 에이전트 동작의 품질 검사를 설계합니다.
결정적 검증, 독립된 품질 차원과 사람 검토를 결합합니다. 심사 프롬프트와 편향 보정은 advanced-evaluation이 다룹니다.
스킬의 SKILL.md에서: ## Gotchas
하는 일
- 예상 결과와 결정적 검사를 정의합니다.
- 작업 복잡도와 예산별 대표 사례를 만듭니다.
- 버전 관리 기준선을 비교하고 회귀를 조사합니다.
얻을 수 있는 결과물
- 평가표, 회귀 사례와 품질 기준을 포함한 평가 계획.
이럴 때 사용하세요
- 에이전트, 도구 또는 컨텍스트 전략 변경을 반복 비교할 때.
이럴 때는 맞지 않습니다
- 예제 점수를 사실 검증이나 운영 인증으로 간주하는 용도.
필요한 것
- 파일 지원 에이전트, 대표 사례, 예상 결과와 실행 기록이 필요합니다.
- Python 예제에는 임시 점수와 모사 출력이 있습니다. 실제 실행기, 검증기와 필요한 유료 모델 연동은 별도로 제공해야 합니다.
스킬에 들어 있는 파일
| 파일 또는 폴더 | 용도 |
|---|---|
SKILL.md | 평가 차원, 테스트 설계와 회귀 지침. |
references/metrics.md | Python 평가기 예제와 지표 참고 자료. |
scripts/evaluator.py | Python 평가기 예제와 지표 참고 자료. |
2026-11-20 기준 저장소에 있는 라이선스: MIT.
예시 프롬프트
설치한 뒤 아래 중 하나를 입력해 보세요. 스킬 이름을 넣으면 그 스킬이 확실히 사용됩니다.
- 이 연구 에이전트에 인용 검사를 포함한 회귀 테스트를 설계해 주세요.
- 답변 품질과 도구 사용 효율을 분리해 보고해 주세요.
- 사람이 라벨링한 기준 사례로 품질 기준을 정해 주세요.
evaluation 설치 방법
예제를 구현 골격으로 사용
SKILL.md와 함께 참고 자료와 스크립트를 복사하세요. 플러그인은 컨텍스트 엔지니어링 모음을 설치합니다.
예제는 Python 표준 라이브러리를 쓰지만 실제 에이전트를 실행하지 않습니다. 호스팅 업로드와 API는 미검증입니다. 모델 검사에는 본인 공급자와 예산을 사용합니다.
스킬은 SKILL.md 파일이 든 폴더입니다. 한 번만 설치하면, 에이전트가 세션을 시작할 때마다 짧은 설명을 읽고 요청이 맞을 때만 전체 지침을 불러옵니다. 사용하는 곳을 고르세요.
Claude Code: 플러그인 마켓플레이스에서 설치
- 터미널에서
claude로 Claude Code를 시작합니다. - 마켓플레이스를 추가합니다(컴퓨터마다 한 번):
/plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering - 플러그인을 설치합니다. Claude Code가 먼저 세부 정보를 보여 줍니다. 무엇이 추가되는지(스킬, 훅, MCP 서버) 확인한 다음, 나만 쓸지, 이 저장소의 모든 사람이 쓸지, 이 저장소에서 나만 쓸지 고르세요.
/plugin install context-engineering@context-engineering-marketplace - /를 입력해
/context-engineering:evaluation가 있는지 확인하거나, 그냥 작업을 요청하세요.
세션 대신 셸에서 설치하려면:
claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace플러그인은 통째로 설치되므로 context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops 등 다른 스킬도 함께 설치됩니다.
Claude Code: 스킬 폴더에 복사
이 컴퓨터의 모든 프로젝트에서 쓰려면 스킬 폴더를 ~/.claude/skills/에 넣고, 저장소에서 함께 작업하는 모든 사람과 공유하려면 저장소 안의 .claude/skills/에 넣으세요(커밋하세요).
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/Claude Code는 세션 중에도 이 폴더의 새 스킬이나 변경된 스킬을 알아챕니다. 세션을 시작할 때 skills 폴더가 없었다면 /reload-skills를 한 번 실행하세요. 그런 다음 /evaluation를 입력하거나 작업을 설명하면 됩니다.
Windows에서는 Git Bash나 WSL에서 명령어를 실행하거나, 파일 탐색기로 같은 위치에 폴더를 복사하세요.
Codex, Gemini CLI, Cursor, GitHub Copilot
이 에이전트들은 같은 SKILL.md 폴더를 읽습니다. 네 가지 모두가 프로젝트 안에서 인식하는 폴더는 .agents/skills/이므로, 아래 명령은 스킬을 그곳에 복사합니다.
git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/| 에이전트 | 프로젝트 폴더 | 사용자 폴더 | 참고 |
|---|---|---|---|
| OpenAI Codex | .agents/skills/ | ~/.agents/skills/ | $를 입력하거나 /skills를 실행해 스킬을 고르세요. 작업이 맞으면 Codex가 스스로 스킬을 고르기도 합니다. |
| Gemini CLI | .agents/skills/.gemini/skills/ | ~/.agents/skills/~/.gemini/skills/ | 또는 gemini skills install <git URL> --path <folder> --consent로 Git에서 설치하세요. Google은 2026년 6월 18일 무료 등급과 Google One 사용자의 Gemini CLI를 Antigravity CLI로 대체했습니다. Antigravity는 프로젝트에서는 .agents/skills/를, 사용자용으로는 ~/.gemini/config/skills/를 사용합니다. |
| Cursor | .agents/skills/.cursor/skills/ | ~/.agents/skills/~/.cursor/skills/ | Agent 채팅에서 /를 입력해 스킬을 고르세요. Cursor는 Claude Code의 .claude/skills/ 폴더도 읽습니다. |
| GitHub Copilot | .github/skills/.agents/skills/.claude/skills/ | ~/.copilot/skills/~/.agents/skills/ | Copilot CLI, 클라우드 에이전트, 그리고 VS Code, Visual Studio, JetBrains의 에이전트 모드에서 작동합니다(IDE 지원은 버전에 따라 다름). 또는 gh skill install OWNER/REPOSITORY SKILL를 실행하세요(공개 프리뷰, GitHub CLI 2.90.0 이상). |
이 단계의 출처
2026-11-14에 각 업체의 문서와 대조해 확인했습니다:
독립된 품질 차원
정확성, 완전성, 출처 근거와 도구 동작을 따로 보고하세요. 가중 합계는 한 차원의 중대한 실패를 가릴 수 있습니다.
형식과 제약을 먼저 결정적으로 검사합니다. 남은 문제에는 사람 표본 검토와 보정된 모델 심사를 사용하세요.
반복 가능한 회귀 절차
사례, 프롬프트, 모델과 채점 규칙을 버전 관리하세요. 쉬운 예제뿐 아니라 실제 예산과 어려운 사례를 포함하세요.
모니터링 계획은 배포된 서비스가 아닙니다. 실제 시스템에 기록 수집, 표본 추출, 보관과 상향 보고를 구현하세요.
evaluation에 관한 질문
스크립트가 내 에이전트를 자동 실행하나요?
아닙니다. 예제 실행기는 모사 출력을 생성합니다. 실제 에이전트를 연결하고 결과를 모은 뒤 점수를 비교하세요.
인용을 찾으면 정확하다는 뜻인가요?
아닙니다. 텍스트 패턴은 출처 존재, 관련성이나 사실 뒷받침을 검증하지 않습니다.
성공 실행은 항상 같은 도구 순서를 따라야 하나요?
보통 결과와 제약을 평가합니다. 여러 유효한 경로로 같은 작업을 해결할 수 있습니다.
예제 합격 기준은 보편적인가요?
아닙니다. 위험, 사람 라벨과 실측 기준선으로 정하세요. 예제는 인증 기준이 아닙니다.
더 많은 AI 스킬
관련 스킬
Dev-Browser 스킬
커뮤니티 · Sawyer Hood상태를 유지하는 이름 있는 페이지, Puppeteer 스크립트와 로컬 CLI 서비스로 Chrome을 자동화합니다.Context Degradation 스킬
커뮤니티 · Muratcan Koylan검증된 사실과 작업별 비교를 통해 긴 컨텍스트 오류를 진단하고 복구를 계획합니다.Tool Design 스킬
커뮤니티 · Muratcan Koylan입력, 출력, 선택 조건과 복구 가능한 오류를 명시한 에이전트 도구 계약을 설계합니다.Advanced Evaluation 스킬
커뮤니티 · Muratcan Koylan근거 기반 평가표, 순서를 바꾼 비교와 사람 보정으로 LLM 심사자를 설계합니다.Brainstorming 스킬
커뮤니티 · Jesse Vincent / Prime Radiant구현 전에 초기 아이디어를 합의된 설계로 정리합니다.Writing Plans 스킬
커뮤니티 · Jesse Vincent / Prime Radiant승인 설계를 인터페이스와 검증이 있는 검토 가능한 작업으로 전환합니다.