bench-prep — команда для Claude Code и Codex
Команда bench-prep для Claude Code и Codex сбрасывает три тестовые ячейки на базовое состояние и назначает им один размер задачи перед работой агента через расширение SpecKit Companion.
MIT ★ 110 обновлён 2026-10-19
.claude/commands/bench-prep.mdЧто делает bench-prep
Команда помогает организовать контролируемый тест: каждой из трёх ячеек (conduit-<размер>-a, -b, -c) присваивается одна сложность (easy, medium, hard или oversized), затем агент проходит цикл specify → plan → tasks → implement в каждой ячейке через расширение.
Прежде чем вызвать команду, указывают размер задачи либо через $ARGUMENTS, либо отвечают на вопрос, если размер не передан. Команда использует Bash для работы с переменными окружения ($SANDBOXES_REPO, $BENCH_CELLS_DIR) и вызывает node "$SANDBOXES_REPO"/bench/run-all.mjs prep --sizes <размер>. Этот скрипт сбрасывает каждую ячейку к версии git, записывает маркер запуска в harness (не в саму ячейку) и печатает готовый промпт для пользователя.
Три ячейки работают параллельно и полностью изолированы друг от друга. После того как пользователь завершит все три цикла, запускается команда /bench-capture <размер> для сбора результатов.
Какие задачи решает
- подготовить три изолированные тестовые ячейки с одинаковым размером задачи
- сбросить ячейки в исходное состояние перед каждым запуском
- назначить каждой ячейке контрольный параметр без видимых подсказок внутри них
Примеры запросов агенту
- Подготовь три ячейки для задачи сложности medium
- Запусти bench-prep с размером hard и открой редактор для каждой ячейки
- Сбрось и переподготовь ячейки после окончания теста
Как установить bench-prep
Вручную: положить файлы
.claude/commands/bench-prep.mdВызов — /bench-prep. Для всех проектов — ~/.claude/commands/
Вручную: положить файлы
~/.codex/prompts/bench-prep.mdВызов — /prompts:bench-prep. В Codex этот формат помечен устаревшим, замена — скиллы
Вручную: положить файлы
.github/prompts/bench-prep.prompt.mdВручную: положить файлы
.gemini/commands/bench-prep.tomlGemini хранит команды в TOML: текст запроса — в поле prompt
Вопросы о bench-prep
Как установить bench-prep в Claude Code?
Скопируй файл .claude/commands/bench-prep.md из репозитория в директорию .claude/commands/ своего проекта.
Что делает bench-prep?
Сбрасывает три тестовые ячейки на базовое состояние, назначает им один размер задачи и выдаёт промпт для начала работы агента через расширение SpecKit Companion.
Нужна ли мне переменная $SANDBOXES_REPO для работы команды?
Да, команда требует репозиторий speckit-sandboxes как соседнюю директорию. При каждом вызове Bash нужно выполнить . .claude/sandboxes-env.sh && eval "$(node "$SANDBOXES_REPO"/bench/paths.mjs --sh)" чтобы установить переменные окружения.
Исходный текст
bench-prep.md · MIT
--- allowed-tools: Bash(. .claude/sandboxes-env.sh:*), Bash(node "$SANDBOXES_REPO"/bench/run-all.mjs:*), AskUserQuestion description: Reset and arm the three bench cells for one size --- ## Your task Arm the three cells for one feature size so each can be run through the real SpecKit Companion extension. The cells **are** the run folders — there are no copies. ### Paths Shell state does not persist between Bash calls, so start each one with this line: ```bash . .claude/sandboxes-env.sh && eval "$(node "$SANDBOXES_REPO"/bench/paths.mjs --sh)" ``` It sets `$SANDBOXES_REPO` (the sibling `speckit-sandboxes` checkout, whose `bench/` folder is the harness) and `$BENCH_CELLS_DIR` (where the cells are baked). When you hand a path to an agent, expand it first: an agent gets the absolute path, never the variable. ### 1. Resolve the size From `$ARGUMENTS` — `easy` | `medium` | `hard` | `oversized`. If missing, ask with **AskUserQuestion** (one question). Don't guess. ### 2. Arm the cells ```bash node "$SANDBOXES_REPO"/bench/run-all.mjs prep --sizes <size> ``` This resets each cell to its git baseline, writes the run marker **into the harness** (never into the cell — the marker names the arm), and prints the paste-able prompt. It does not open editor windows; pass `--open` if you want one per cell. ### 3. Hand off Relay the prompt block to the user, then tell them: - The three cells for this size are `conduit-<size>-a`, `-b` and `-c` under the cells directory (`$BENCH_CELLS_DIR`; give the user the expanded path). Which letter is which arm is deliberately not visible from inside a cell; `node "$SANDBOXES_REPO"/bench/run-all.mjs --dry-run` prints the mapping. - Run **specify → plan → tasks → implement** in each, through the extension. The stock arm shows no progress tracking — that is the point, it is the blind control. - The three can run at the same time; the cells are isolated. - When all three are done, run **`/bench-capture <size>`**. Do **not** drive the pipelines yourself — the user runs them. Your job ends after prep prints the instructions.
© alfredoperez · MIT · alfredoperez/speckit-companion