eval · sangrokjung — слэш-команда для Claude Code: что делает и как установить
Команда ведёт eval-проверки функций: создаёт критерии, запускает проверки и собирает отчёты. Пригодится, чтобы отслеживать возможности новой функции и не пропускать регрессии.
MIT ★ 880 обновлён 2026-09-03
.claude/commands/eval.mdЧто делает eval
/eval define <name> создаёт файл с критериями в .claude/evals/ и просит заполнить их под конкретную функцию. В шаблоне есть проверки возможностей, регрессий и критерии успеха: для первых указано pass@3 > 90%, для вторых — pass^3 = 100%.
/eval check <name> проверяет критерии возможностей, запускает относящиеся к регрессии тесты, сравнивает результат с базовым уровнем и записывает попытки в лог. Сравнение с базовым уровнем важно: без него команда не сможет оценить регрессию. /eval report <name> формирует отчёт с результатами и рекомендацией, а /eval list показывает определения и их статус. Команда clean удаляет старые логи, сохраняя последние 10 запусков.
Какие задачи решает
- задать критерии проверки новой функции
- проверить выполнение критериев и записать попытки в лог
- сравнить результаты регрессионных тестов с базовым уровнем
- собрать отчёт с метриками и рекомендацией
- показать статусы eval-определений
Примеры запросов агенту
- Создай eval-критерии для функции поиска.
- Проверь eval-критерии для
feature-authи сравни регрессионные тесты с базовым уровнем. - Собери отчёт по
feature-exportи покажи список всех eval-определений.
Как установить eval
Вручную: положить файлы
.claude/commands/eval.mdВызов — /eval. Для всех проектов — ~/.claude/commands/
Вручную: положить файлы
~/.codex/prompts/eval.mdВызов — /prompts:eval. В Codex этот формат помечен устаревшим, замена — скиллы
Вручную: положить файлы
.github/prompts/eval.prompt.mdВручную: положить файлы
.gemini/commands/eval.tomlGemini хранит команды в TOML: текст запроса — в поле prompt
Вопросы об eval
Как установить eval в Claude Code?
Создайте файл .claude/commands/eval.md и поместите в него содержимое команды. После этого вызывайте её как /eval.
Что делает команда eval?
Она создаёт определения проверок, запускает eval-проверки, формирует отчёты и показывает список функций со статусами.
Как eval проверяет регрессии?
Команда запускает связанные тесты, сравнивает результаты с базовым уровнем и записывает PASS или FAIL.
Исходный текст
eval.md · MIT
--- description: Manage eval-driven development workflow (define, check, report, list) --- # Eval Command Manage eval-driven development workflow. ## Usage `/eval [define|check|report|list] [feature-name]` ## Define Evals `/eval define feature-name` Create a new eval definition: 1. Create `.claude/evals/feature-name.md` with template: ```markdown ## EVAL: feature-name Created: $(date) ### Capability Evals - [ ] [Description of capability 1] - [ ] [Description of capability 2] ### Regression Evals - [ ] [Existing behavior 1 still works] - [ ] [Existing behavior 2 still works] ### Success Criteria - pass@3 > 90% for capability evals - pass^3 = 100% for regression evals ``` 2. Prompt user to fill in specific criteria ## Check Evals `/eval check feature-name` Run evals for a feature: 1. Read eval definition from `.claude/evals/feature-name.md` 2. For each capability eval: - Attempt to verify criterion - Record PASS/FAIL - Log attempt in `.claude/evals/feature-name.log` 3. For each regression eval: - Run relevant tests - Compare against baseline - Record PASS/FAIL 4. Report current status: ``` EVAL CHECK: feature-name ======================== Capability: X/Y passing Regression: X/Y passing Status: IN PROGRESS / READY ``` ## Report Evals `/eval report feature-name` Generate comprehensive eval report: ``` EVAL REPORT: feature-name ========================= Generated: $(date) CAPABILITY EVALS ---------------- [eval-1]: PASS (pass@1) [eval-2]: PASS (pass@2) - required retry [eval-3]: FAIL - see notes REGRESSION EVALS ---------------- [test-1]: PASS [test-2]: PASS [test-3]: PASS METRICS ------- Capability pass@1: 67% Capability pass@3: 100% Regression pass^3: 100% NOTES ----- [Any issues, edge cases, or observations] RECOMMENDATION -------------- [SHIP / NEEDS WORK / BLOCKED] ``` ## List Evals `/eval list` Show all eval definitions: ``` EVAL DEFINITIONS ================ feature-auth [3/5 passing] IN PROGRESS feature-search [5/5 passing] READY feature-export [0/4 passing] NOT STARTED ``` ## Arguments $ARGUMENTS: - `define <name>` - Create new eval definition - `check <name>` - Run and check evals - `report <name>` - Generate full report - `list` - Show all evals - `clean` - Remove old eval logs (keeps last 10 runs)
© sangrokjung · MIT · sangrokjung/claude-forge
Похожие слэш-команды
Все слэш-команды по теме «Тесты и QA» →Сначала — eval от других авторов.