suede-ai-eval
AI 에이전트AI 엔지니어링JasonColapietro/suede-creator-skills
AI 기능의 응답이 믿을 만한지 시험할 평가 계획을 세워 줍니다. 기능이 해야 할 일을 한 단락 명세로 정리하고, 실패할 수 있는 경로를 목록화해 심각도와 담당자, 배포 게이트를 붙입니다. 이어서 통과와 실패를 가르는 평가 사례 표와 현재 테스트가 놓친 영역을 보여 주며, 평가를 실행하는 명령과 결과 건수도 함께 남깁니다. 실행 결과는 배포 권고로 제시되고 최종 결정은 사용자가 합니다.
이럴 때 쓰세요 챗봇이나 RAG 검색 답변이 틀린 정보를 내놓지 않는지 배포 전에 확인하고 싶을 때
설치 전에 확인하세요
AI가 SKILL.md에서 스크립트·프로그램 실행과 외부 네트워크 접속 내용을 찾았습니다. 설치 전에 원문을 확인하세요.
GitHub 기록
- 저장소 스타
- 125
- 저장소 업데이트
- 2026.11.04
- 라이선스
- MIT
- SKILL.md 경로
- skills/suede-ai-eval/SKILL.md
- 스크립트 파일
- 없음, 지침 문서만 있음
AI가 SKILL.md를 읽고 판단
- 코드 실행
- 있음
- 네트워크 접속
- 있음
- 계정·API 키
- 확인되지 않음
- 난이도
- 고급
- 직군
- 개발자, 기획자·PM
확인되지 않음은 AI가 SKILL.md에서 찾지 못했다는 뜻입니다. 없다는 보장은 아닙니다.
설치
터미널에 붙여 넣어 실행하세요. macOS와 Linux 기준이며 git이 필요합니다. Windows에서는 PowerShell이 아니라 Git Bash에서 실행하세요. 저장소를 임시로 내려받아 스킬 폴더만 복사합니다.
모든 프로젝트에서 쓰기
tmp=$(mktemp -d) && git clone --depth 1 https://github.com/JasonColapietro/suede-creator-skills.git "$tmp"
mkdir -p "$HOME/.claude/skills"/suede-ai-eval
cp -R "$tmp"/skills/suede-ai-eval/. "$HOME/.claude/skills"/suede-ai-eval/
rm -rf "$tmp"현재 프로젝트에서만 쓰기
먼저 터미널에서 프로젝트 폴더로 이동하세요.
tmp=$(mktemp -d) && git clone --depth 1 https://github.com/JasonColapietro/suede-creator-skills.git "$tmp"
mkdir -p .claude/skills/suede-ai-eval
cp -R "$tmp"/skills/suede-ai-eval/. .claude/skills/suede-ai-eval/
rm -rf "$tmp"설치한 뒤 Claude Code에서 새 세션을 시작하세요. '이럴 때 쓰세요'에 적힌 일을 요청하면 에이전트가 스킬을 불러옵니다. 스킬은 ~/.claude/skills/suede-ai-eval에 있습니다. 프로젝트에 설치했다면 .claude/skills/suede-ai-eval에 있습니다.
모든 프로젝트에서 쓰기
tmp=$(mktemp -d) && git clone --depth 1 https://github.com/JasonColapietro/suede-creator-skills.git "$tmp"
mkdir -p "$HOME/.agents/skills"/suede-ai-eval
cp -R "$tmp"/skills/suede-ai-eval/. "$HOME/.agents/skills"/suede-ai-eval/
rm -rf "$tmp"현재 프로젝트에서만 쓰기
먼저 터미널에서 프로젝트 폴더로 이동하세요.
tmp=$(mktemp -d) && git clone --depth 1 https://github.com/JasonColapietro/suede-creator-skills.git "$tmp"
mkdir -p .agents/skills/suede-ai-eval
cp -R "$tmp"/skills/suede-ai-eval/. .agents/skills/suede-ai-eval/
rm -rf "$tmp"설치한 뒤 Codex에서 새 세션을 시작하세요. '이럴 때 쓰세요'에 적힌 일을 요청하면 에이전트가 스킬을 불러옵니다. 스킬은 ~/.agents/skills/suede-ai-eval에 있습니다. 프로젝트에 설치했다면 .agents/skills/suede-ai-eval에 있습니다.
모든 프로젝트에서 쓰기
tmp=$(mktemp -d) && git clone --depth 1 https://github.com/JasonColapietro/suede-creator-skills.git "$tmp"
mkdir -p "$HOME/.cursor/skills"/suede-ai-eval
cp -R "$tmp"/skills/suede-ai-eval/. "$HOME/.cursor/skills"/suede-ai-eval/
rm -rf "$tmp"현재 프로젝트에서만 쓰기
먼저 터미널에서 프로젝트 폴더로 이동하세요.
tmp=$(mktemp -d) && git clone --depth 1 https://github.com/JasonColapietro/suede-creator-skills.git "$tmp"
mkdir -p .cursor/skills/suede-ai-eval
cp -R "$tmp"/skills/suede-ai-eval/. .cursor/skills/suede-ai-eval/
rm -rf "$tmp"설치한 뒤 Cursor에서 새 세션을 시작하세요. '이럴 때 쓰세요'에 적힌 일을 요청하면 에이전트가 스킬을 불러옵니다. 스킬은 ~/.cursor/skills/suede-ai-eval에 있습니다. 프로젝트에 설치했다면 .cursor/skills/suede-ai-eval에 있습니다.
같은 분류의 스킬
-
AI 에이전트
superpowers 세션이 기대와 다르게 흘러간 이유를 찾을 때, 대화 기록을 읽고 반복 작업, 계획 이탈, 비용과 시간, 결과 품질 등을 근거와 함께 정리해 줍니다. 필요하면 superpowers 관리자에게 보낼 버그 리포트 묶음과 GitHub 이슈 초안도 만들 수 있으며, 결함의 원인을 진단하거나 수정안을 제시하지는 않습니다.
superpowers 세션에서 같은 작업이 반복되거나 계획이 무시되어 원인을 알고 싶을 때
-
AI 에이전트
에이전트나 LLM 기능이 이상하게 동작할 때 12개 층(시스템 프롬프트, 메모리, 도구 호출, 응답 렌더링 등) 중 어디서 문제가 생겼는지 찾아 줍니다. 심각도별로 정리된 발견 사항과 코드 중심의 수정 순서를 받을 수 있습니다. 배포 전 점검에도 쓸 수 있습니다.
에이전트 답변이 플레이그라운드에서는 맞는데 래퍼 안에서 틀려서 원인 층을 찾아야 할 때
-
AI 에이전트
REA 조사 도구의 경계, CLI와 MCP 계약, 제공자 기능, Evidence 의미를 점검하거나 새로 설계하는 절차를 안내합니다. 현재 계약과 가장 가까운 기존 도구를 확인하고, 제공자 연동 작업은 실제 워크플로로 실행해 네이티브 결과와 비교합니다. 발견한 버그, 제한 사항, 설계 개선점과 검증되지 않은 주장을 구분해 보고하며, 설계 요청에는 경계와 입출력 형태, 대안, 검증 방법을 제시합니다.
REA 도구의 CLI나 MCP 계약을 바꾸거나 새 조사 도구를 설계하기 전에 기존 도구와 제공자 동작을 점검해야 할 때
-
AI 에이전트
여러 코딩 에이전트에게 같은 작업을 맡겨 통과율, 비용, 소요 시간, 반복 일관성을 한 표로 비교하는 도구입니다. 작업은 YAML로 정의하고, 에이전트마다 새 git worktree에서 실행한 뒤 테스트와 빌드, 패턴 검사로 결과를 판정합니다. 감이 아니라 측정값으로 에이전트를 고르거나 설정 변경의 효과를 확인할 때 쓸 수 있습니다.
Claude Code, Aider, Codex 중 어느 에이전트를 팀 코드베이스에 쓸지 측정 자료로 정해야 할 때