본문으로 건너뛰기

Agent Evaluation 스킬

결정적 검사, 독립된 품질 차원과 버전 관리 기준선으로 에이전트 회귀 테스트를 계획합니다.

커뮤니티 · Muratcan Koylan
작성자Muratcan Koylan
라이선스MIT
소스muratcankoylan/Agent-Skills-for-Context-Engineering · GitHub의 SKILL.md
작동 환경Claude Code · Codex, Gemini CLI, Cursor, Copilot
소스 확인 날짜

evaluation 스킬은 현실적인 작업에서 에이전트 동작의 품질 검사를 설계합니다.

결정적 검증, 독립된 품질 차원과 사람 검토를 결합합니다. 심사 프롬프트와 편향 보정은 advanced-evaluation이 다룹니다.

스킬의 SKILL.md에서: ## Gotchas

Muratcan Koylan의 커뮤니티 스킬로, 저희나 Anthropic이 검토하지 않았습니다. 스킬은 에이전트에게 코드 실행, 파일 읽기, 네트워크 호출을 지시할 수 있습니다. 설치하기 전에 SKILL.md와 폴더 안의 모든 스크립트를 읽고, 설명과 맞지 않는 동작이 없는지 확인하세요.

하는 일

  1. 예상 결과와 결정적 검사를 정의합니다.
  2. 작업 복잡도와 예산별 대표 사례를 만듭니다.
  3. 버전 관리 기준선을 비교하고 회귀를 조사합니다.

얻을 수 있는 결과물

  • 평가표, 회귀 사례와 품질 기준을 포함한 평가 계획.

이럴 때 사용하세요

  • 에이전트, 도구 또는 컨텍스트 전략 변경을 반복 비교할 때.

이럴 때는 맞지 않습니다

  • 예제 점수를 사실 검증이나 운영 인증으로 간주하는 용도.

필요한 것

  • 파일 지원 에이전트, 대표 사례, 예상 결과와 실행 기록이 필요합니다.
  • Python 예제에는 임시 점수와 모사 출력이 있습니다. 실제 실행기, 검증기와 필요한 유료 모델 연동은 별도로 제공해야 합니다.

스킬에 들어 있는 파일

파일 또는 폴더용도
SKILL.md평가 차원, 테스트 설계와 회귀 지침.
references/metrics.mdPython 평가기 예제와 지표 참고 자료.
scripts/evaluator.pyPython 평가기 예제와 지표 참고 자료.

2026-11-20 기준 저장소에 있는 라이선스: MIT.

예시 프롬프트

설치한 뒤 아래 중 하나를 입력해 보세요. 스킬 이름을 넣으면 그 스킬이 확실히 사용됩니다.

  • 이 연구 에이전트에 인용 검사를 포함한 회귀 테스트를 설계해 주세요.
  • 답변 품질과 도구 사용 효율을 분리해 보고해 주세요.
  • 사람이 라벨링한 기준 사례로 품질 기준을 정해 주세요.

evaluation 설치 방법

예제를 구현 골격으로 사용

SKILL.md와 함께 참고 자료와 스크립트를 복사하세요. 플러그인은 컨텍스트 엔지니어링 모음을 설치합니다.

예제는 Python 표준 라이브러리를 쓰지만 실제 에이전트를 실행하지 않습니다. 호스팅 업로드와 API는 미검증입니다. 모델 검사에는 본인 공급자와 예산을 사용합니다.

스킬은 SKILL.md 파일이 든 폴더입니다. 한 번만 설치하면, 에이전트가 세션을 시작할 때마다 짧은 설명을 읽고 요청이 맞을 때만 전체 지침을 불러옵니다. 사용하는 곳을 고르세요.

Claude Code: 플러그인 마켓플레이스에서 설치

  1. 터미널에서 claude로 Claude Code를 시작합니다.
  2. 마켓플레이스를 추가합니다(컴퓨터마다 한 번):
    /plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
  3. 플러그인을 설치합니다. Claude Code가 먼저 세부 정보를 보여 줍니다. 무엇이 추가되는지(스킬, 훅, MCP 서버) 확인한 다음, 나만 쓸지, 이 저장소의 모든 사람이 쓸지, 이 저장소에서 나만 쓸지 고르세요.
    /plugin install context-engineering@context-engineering-marketplace
  4. /를 입력해 /context-engineering:evaluation가 있는지 확인하거나, 그냥 작업을 요청하세요.

세션 대신 셸에서 설치하려면:

claude plugin marketplace add muratcankoylan/Agent-Skills-for-Context-Engineering
claude plugin install context-engineering@context-engineering-marketplace

플러그인은 통째로 설치되므로 context-fundamentals, context-degradation, context-compression, context-optimization, self-managed-context, multi-agent-patterns, long-horizon-prompting, memory-systems, tool-design, filesystem-context, hosted-agents, advanced-evaluation, harness-engineering, project-development, bdi-mental-states, latent-briefing, self-improvement-loops 등 다른 스킬도 함께 설치됩니다.

Claude Code: 스킬 폴더에 복사

이 컴퓨터의 모든 프로젝트에서 쓰려면 스킬 폴더를 ~/.claude/skills/에 넣고, 저장소에서 함께 작업하는 모든 사람과 공유하려면 저장소 안의 .claude/skills/에 넣으세요(커밋하세요).

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p ~/.claude/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation ~/.claude/skills/

Claude Code는 세션 중에도 이 폴더의 새 스킬이나 변경된 스킬을 알아챕니다. 세션을 시작할 때 skills 폴더가 없었다면 /reload-skills를 한 번 실행하세요. 그런 다음 /evaluation를 입력하거나 작업을 설명하면 됩니다.

Windows에서는 Git Bash나 WSL에서 명령어를 실행하거나, 파일 탐색기로 같은 위치에 폴더를 복사하세요.

Codex, Gemini CLI, Cursor, GitHub Copilot

이 에이전트들은 같은 SKILL.md 폴더를 읽습니다. 네 가지 모두가 프로젝트 안에서 인식하는 폴더는 .agents/skills/이므로, 아래 명령은 스킬을 그곳에 복사합니다.

git clone --depth 1 https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering.git
mkdir -p .agents/skills
cp -R Agent-Skills-for-Context-Engineering/skills/evaluation .agents/skills/
에이전트프로젝트 폴더사용자 폴더참고
OpenAI Codex
.agents/skills/
~/.agents/skills/
$를 입력하거나 /skills를 실행해 스킬을 고르세요. 작업이 맞으면 Codex가 스스로 스킬을 고르기도 합니다.
Gemini CLI
.agents/skills/
.gemini/skills/
~/.agents/skills/
~/.gemini/skills/
또는 gemini skills install <git URL> --path <folder> --consent로 Git에서 설치하세요. Google은 2026년 6월 18일 무료 등급과 Google One 사용자의 Gemini CLI를 Antigravity CLI로 대체했습니다. Antigravity는 프로젝트에서는 .agents/skills/를, 사용자용으로는 ~/.gemini/config/skills/를 사용합니다.
Cursor
.agents/skills/
.cursor/skills/
~/.agents/skills/
~/.cursor/skills/
Agent 채팅에서 /를 입력해 스킬을 고르세요. Cursor는 Claude Code의 .claude/skills/ 폴더도 읽습니다.
GitHub Copilot
.github/skills/
.agents/skills/
.claude/skills/
~/.copilot/skills/
~/.agents/skills/
Copilot CLI, 클라우드 에이전트, 그리고 VS Code, Visual Studio, JetBrains의 에이전트 모드에서 작동합니다(IDE 지원은 버전에 따라 다름). 또는 gh skill install OWNER/REPOSITORY SKILL를 실행하세요(공개 프리뷰, GitHub CLI 2.90.0 이상).
신뢰할 수 있는 스킬만 설치하세요. Anthropic은 신뢰할 수 있는 출처의 스킬만 사용하고, 그 밖의 스킬은 사용하기 전에 모든 파일을 읽어 보라고 권합니다. 스킬은 설명에 나오지 않는 방식으로 에이전트에게 명령어 실행, 파일 읽기, 데이터 전송을 지시할 수 있기 때문입니다.

이 단계의 출처

2026-11-14에 각 업체의 문서와 대조해 확인했습니다:

독립된 품질 차원

정확성, 완전성, 출처 근거와 도구 동작을 따로 보고하세요. 가중 합계는 한 차원의 중대한 실패를 가릴 수 있습니다.

형식과 제약을 먼저 결정적으로 검사합니다. 남은 문제에는 사람 표본 검토와 보정된 모델 심사를 사용하세요.

반복 가능한 회귀 절차

사례, 프롬프트, 모델과 채점 규칙을 버전 관리하세요. 쉬운 예제뿐 아니라 실제 예산과 어려운 사례를 포함하세요.

모니터링 계획은 배포된 서비스가 아닙니다. 실제 시스템에 기록 수집, 표본 추출, 보관과 상향 보고를 구현하세요.

evaluation에 관한 질문

스크립트가 내 에이전트를 자동 실행하나요?

아닙니다. 예제 실행기는 모사 출력을 생성합니다. 실제 에이전트를 연결하고 결과를 모은 뒤 점수를 비교하세요.

인용을 찾으면 정확하다는 뜻인가요?

아닙니다. 텍스트 패턴은 출처 존재, 관련성이나 사실 뒷받침을 검증하지 않습니다.

성공 실행은 항상 같은 도구 순서를 따라야 하나요?

보통 결과와 제약을 평가합니다. 여러 유효한 경로로 같은 작업을 해결할 수 있습니다.

예제 합격 기준은 보편적인가요?

아닙니다. 위험, 사람 라벨과 실측 기준선으로 정하세요. 예제는 인증 기준이 아닙니다.

더 많은 AI 스킬

관련 스킬

스킬 카테고리