К основному содержанию
команда CX Codex

eval · sangrokjung — слэш-команда для Claude Code: что делает и как установить

Команда ведёт eval-проверки функций: создаёт критерии, запускает проверки и собирает отчёты. Пригодится, чтобы отслеживать возможности новой функции и не пропускать регрессии.

MIT ★ 880 обновлён 2026-09-03

Установить в Claude Code · Вручную: положить файлы Все способы и платформы ↓
.claude/commands/eval.md
Открыть на GitHub

Что делает eval

/eval define <name> создаёт файл с критериями в .claude/evals/ и просит заполнить их под конкретную функцию. В шаблоне есть проверки возможностей, регрессий и критерии успеха: для первых указано pass@3 > 90%, для вторых — pass^3 = 100%.

/eval check <name> проверяет критерии возможностей, запускает относящиеся к регрессии тесты, сравнивает результат с базовым уровнем и записывает попытки в лог. Сравнение с базовым уровнем важно: без него команда не сможет оценить регрессию. /eval report <name> формирует отчёт с результатами и рекомендацией, а /eval list показывает определения и их статус. Команда clean удаляет старые логи, сохраняя последние 10 запусков.

Какие задачи решает

  • задать критерии проверки новой функции
  • проверить выполнение критериев и записать попытки в лог
  • сравнить результаты регрессионных тестов с базовым уровнем
  • собрать отчёт с метриками и рекомендацией
  • показать статусы eval-определений

Примеры запросов агенту

  • Создай eval-критерии для функции поиска.
  • Проверь eval-критерии для feature-auth и сравни регрессионные тесты с базовым уровнем.
  • Собери отчёт по feature-export и покажи список всех eval-определений.

Как установить eval

Вручную: положить файлы

.claude/commands/eval.md

Вызов — /eval. Для всех проектов — ~/.claude/commands/

Вопросы об eval

Как установить eval в Claude Code?

Создайте файл .claude/commands/eval.md и поместите в него содержимое команды. После этого вызывайте её как /eval.

Что делает команда eval?

Она создаёт определения проверок, запускает eval-проверки, формирует отчёты и показывает список функций со статусами.

Как eval проверяет регрессии?

Команда запускает связанные тесты, сравнивает результаты с базовым уровнем и записывает PASS или FAIL.

Исходный текст

eval.md · MIT
---
description: Manage eval-driven development workflow (define, check, report, list)
---

# Eval Command

Manage eval-driven development workflow.

## Usage

`/eval [define|check|report|list] [feature-name]`

## Define Evals

`/eval define feature-name`

Create a new eval definition:

1. Create `.claude/evals/feature-name.md` with template:

```markdown
## EVAL: feature-name
Created: $(date)

### Capability Evals
- [ ] [Description of capability 1]
- [ ] [Description of capability 2]

### Regression Evals
- [ ] [Existing behavior 1 still works]
- [ ] [Existing behavior 2 still works]

### Success Criteria
- pass@3 > 90% for capability evals
- pass^3 = 100% for regression evals
```

2. Prompt user to fill in specific criteria

## Check Evals

`/eval check feature-name`

Run evals for a feature:

1. Read eval definition from `.claude/evals/feature-name.md`
2. For each capability eval:
   - Attempt to verify criterion
   - Record PASS/FAIL
   - Log attempt in `.claude/evals/feature-name.log`
3. For each regression eval:
   - Run relevant tests
   - Compare against baseline
   - Record PASS/FAIL
4. Report current status:

```
EVAL CHECK: feature-name
========================
Capability: X/Y passing
Regression: X/Y passing
Status: IN PROGRESS / READY
```

## Report Evals

`/eval report feature-name`

Generate comprehensive eval report:

```
EVAL REPORT: feature-name
=========================
Generated: $(date)

CAPABILITY EVALS
----------------
[eval-1]: PASS (pass@1)
[eval-2]: PASS (pass@2) - required retry
[eval-3]: FAIL - see notes

REGRESSION EVALS
----------------
[test-1]: PASS
[test-2]: PASS
[test-3]: PASS

METRICS
-------
Capability pass@1: 67%
Capability pass@3: 100%
Regression pass^3: 100%

NOTES
-----
[Any issues, edge cases, or observations]

RECOMMENDATION
--------------
[SHIP / NEEDS WORK / BLOCKED]
```

## List Evals

`/eval list`

Show all eval definitions:

```
EVAL DEFINITIONS
================
feature-auth      [3/5 passing] IN PROGRESS
feature-search    [5/5 passing] READY
feature-export    [0/4 passing] NOT STARTED
```

## Arguments

$ARGUMENTS:
- `define <name>` - Create new eval definition
- `check <name>` - Run and check evals
- `report <name>` - Generate full report
- `list` - Show all evals
- `clean` - Remove old eval logs (keeps last 10 runs)

© sangrokjung · MIT · sangrokjung/claude-forge

Похожие слэш-команды

Все слэш-команды по теме «Тесты и QA» →

Сначала — eval от других авторов.

eval Seth Hobson Команда eval оценивает качество плагина или скилла по шкале до 100 баллов через статический анализ и судейство LLM. Помогает найти антипаттерны перед релизом. CX Codex +1 ★ 42 780звёзд репо eval-harness affaan-m Скилл eval-harness для Claude Code, Codex, Cursor и других агентных платформ, реализующий eval-driven development: критерии успеха определяются до написания кода, результаты измеряются метриками pass@k и pass^k. CX Codex +1 6 500установок google-agents-cli-eval официальный Google Скилл google-agents-cli-eval оценивает качество ИИ-агентов через agents-cli, находит ошибки и сравнивает прогоны. Включается при отладке датасетов и проверке метрик в проектах на базе Gemini. CX Codex +1 586 000установок bmad-eval bmad-code-org Скилл bmad-eval для Claude Code, Codex, Cursor и Copilot, который прогоняет тесты другого скилла и отчитывается о результатах. Запускается, когда нужно проверить триггеры описания, сравнить версии или оценить качество по рубрике. CX Codex +1 9 100установок eval-runner haabe Скилл eval-runner для Claude Code запускает eval-сценарии из YAML через reflexion-цикл и записывает результаты в JSON. Фиксирует время, число итераций и статус критериев успеха. CX Codex +1 ★ 54звёзд репо llm-eval-harness daymade Скилл llm-eval-harness для Claude Code, Codex, Cursor и других платформ: проверяет сторонний LLM-эндпоинт на доступность, скорость, точность следования system prompt и соответствие протоколу. CX Codex +1 438установок eval-grader serpro69 Субагент eval-grader проверяет ассерты скилл-эвалов и выносит по каждому PASS, FAIL или PARTIAL с одной строкой доказательства. Оценивает вывод ревьюера независимо от его автора. CX Codex ★ 155звёзд репо

Из того же набора44

Весь набор →
korean-spell-check Скилл korean-spell-check для Claude Code проверяет орфографию в корейском тексте и возвращает правки, а не весь документ заново. Длинные куски режет на части, чтобы сервис их принял. CX Codex +1 ★ 880звёзд репо instinct-status Команда instinct-status показывает усвоенные привычки агента, уровень уверенности и источник. Помогает проверить, какие наблюдения накопились по стилю кода и рабочим процессам. CX Codex +1 ★ 880звёзд репо doc-updater Субагент doc-updater для Claude Code пересобирает README, гайды и кодмапы по файлам проекта после правок кода. Обновляет документацию, разошедшуюся с кодом. CX Codex ★ 880звёзд репо instinct-export Команда instinct-export выгружает накопленные персональные инстинкты агента в файл, чтобы делиться ими с коллегами или переносить между машинами. CX Codex +1 ★ 880звёзд репо refactor-cleaner Субагент refactor-cleaner находит мёртвый код, неиспользуемые экспорты и зависимости через knip, depcheck и ts-prune, проверяет ссылки и удаляет лишнее маленькими партиями. CX Codex ★ 880звёзд репо task-grade-routing Правило task-grade-routing определяет объём документации и число независимых проверок под размеры задач S, M, L и XL при работе с классификатором воркфлоу. CX Codex +1 ★ 880звёзд репо frontend-code-review Скилл frontend-code-review проверяет фронтенд-код по чек-листу и оформляет замечания по заданному шаблону. Запускайте его для изменений перед коммитом или ревью конкретных файлов. CX Codex +1 ★ 880звёзд репо instinct-import Команда instinct-import забирает инстинкты из файла или по URL, сверяет их с уже накопленными и раскладывает по хранилищу с пометкой об источнике. CX Codex +1 ★ 880звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой