К основному содержанию
команда CX Codex

bench-capture — команда для Claude Code и Codex

Команда bench-capture для Claude Code и Codex, которая фиксирует результаты трёх ячеек бенчмарка после прохода по одному размеру, добавляет их в историю, перестраивает отчёт и очищает ячейки для следующего раунда.

MIT ★ 110 обновлён 2026-10-19

Установить в Claude Code · Вручную: положить файлы Все способы и платформы ↓
.claude/commands/bench-capture.md
Открыть на GitHub

Что делает bench-capture

Процесс состоит из шести этапов: сначала определяется размер задачи (easy, medium, hard или oversized), затем загружается таблица соответствия букв рукам и версиям. Три независимых агента оценивают каждую ячейку по критериям читаемости, следования соглашениям и объёма кода, не зная, какую версию они проверяют. После этого четвёртый агент сравнивает все три решения между собой, ищет различия в архитектуре и подозрительные баги, и записывает вердикт в накапливающийся отчёт.

На финальном этапе команда запускает сборку, полный набор тестов, проверки соглашений, вычисляет итоговый балл и добавляет строку в историю измерений. Все предыдущие прогоны сохраняются в отчёте — новые результаты дописываются сверху. После измерения ячейки автоматически очищаются.

Для работы нужны переменные окружения из .claude/sandboxes-env.sh и доступ к папкам с ячейками и промптами. Команда требует Node.js и git в PATH, а также прямых путей для передачи агентам — переменные расширения туда не передаются.

Какие задачи решает

  • оценить качество кода трёх разных решений один и тот же набор критериев
  • сравнить архитектурные решения и найти скрытые баги перед измерением производительности
  • собрать все оценки в единый отчёт без потери истории прошлых прогонов
  • перезагрузить тестовые ячейки для следующего раунда бенчмарка

Примеры запросов агенту

  • Оцени результаты размера easy после трёх ячеек: запусти bench-capture и выбери размер easy
  • Запиши оценки судей и запусти тесты для medium: передай bench-capture и выбери medium
  • Проведи full benchmark цикл для hard: используй bench-capture, укажи размер hard, дождись всех агентов и отчёта

Как установить bench-capture

Вручную: положить файлы

.claude/commands/bench-capture.md

Вызов — /bench-capture. Для всех проектов — ~/.claude/commands/

Вопросы о bench-capture

Как установить bench-capture в Claude Code?

Файл команды лежит в .claude/commands/bench-capture.md. Скопируй его в папку Claude Code или переместить туда через диалог установки.

Что делает bench-capture?

Фиксирует результаты трёх ячеек бенчмарка: запускает независимых судей, которые оценивают код, затем сравнивает все решения между собой, записывает оценки, запускает тесты и очищает ячейки для следующего раунда.

Почему судьям не передаётся информация о том, какое решение они оценивают?

Чтобы оценка была беспристрастной. Судья, который знает, что смотрит на результат Companion, может подсознательно завысить или занизить баллы. Каждый получает только букву и инструкцию.

Исходный текст

bench-capture.md · MIT
---
allowed-tools: Bash(. .claude/sandboxes-env.sh:*), Bash(node "$SANDBOXES_REPO"/bench/run-all.mjs:*), Bash(git -C:*), Agent, Workflow, AskUserQuestion
description: Score the three bench cells for one size, record, report, and reset
---

## Your task

After a size has been run through its three cells, capture the evals, append to history, regenerate the report, and reset the cells for the next round.

### Paths

Shell state does not persist between Bash calls, so start each one with this line:

```bash
. .claude/sandboxes-env.sh && eval "$(node "$SANDBOXES_REPO"/bench/paths.mjs --sh)"
```

It sets `$SANDBOXES_REPO` (the sibling `speckit-sandboxes` checkout, whose `bench/` folder is the harness) and `$BENCH_CELLS_DIR` (where the cells are baked). When you hand a path to an agent, expand it first: an agent gets the absolute path, never the variable.

### 1. Resolve the size

From `$ARGUMENTS` — `easy` | `medium` | `hard` | `oversized`. If missing, ask with **AskUserQuestion**.

### 2. Read the cell mapping

```bash
node "$SANDBOXES_REPO"/bench/run-all.mjs --dry-run
```

It prints which letter carries which arm, plus the spec-kit, extension and Companion versions this round was measured with. You need the mapping to attribute the reviews; the judges below must **not** be told which arm they are looking at.

### 3. Independent rubric judges (before measuring — they read the diff)

Spawn one **judge agent per cell** (a `parallel()` Workflow of 3). Each judge — which did NOT write the code — does exactly:

- Read the diff: `git -C "$BENCH_CELLS_DIR"/conduit-<size>-<letter> diff bench-baseline`.
- Read the requirements at `$SANDBOXES_REPO/bench/prompts/conduit/<size>.md` and the conventions in the cell's `CLAUDE.md`.
- Score 1–5: `readability`, `conventions`, `scope`. Judge the layering rules the app actually documents; do not penalize a rule the size had no occasion to exercise.
- Write `quality = {readability, conventions, scope, justification}` into `$SANDBOXES_REPO/bench/runs-meta/conduit-<size>-<letter>.json` (MERGE — keep `runId`/`size`/`mode`).

Give each judge the **letter only**. A judge told it is looking at "the Companion arm" is no longer independent.

### 4. Comparative reviewer (one agent, cross-solution)

The per-cell judges score each solution in isolation, and tests cannot fully pin correctness. Spawn **one** reviewer that sees all three at once. **Run it before step 5** — measuring resets the cells and erases the diffs. It does exactly:

- Read all three diffs (`git -C "$BENCH_CELLS_DIR"/conduit-<size>-<letter> diff bench-baseline`), labeled A, B and C.
- Read the requirements and the conventions.
- Produce a **comparative** review:
  - **Ranking** best to worst, one line each.
  - **Head-to-head differences** — structure, layering, naming, edge cases, test coverage.
  - **Suspected bugs the deterministic harness cannot catch**, per solution (or "none found").
  - **One-line verdict per solution.**
- Write it to `$SANDBOXES_REPO/bench/reviews/<size>.md` — committed there, accumulating: read the existing file first, then **prepend** a `## <YYYY-MM-DD> — <size>` section so prior runs are preserved.

### 5. Measure + report + reset

```bash
node "$SANDBOXES_REPO"/bench/run-all.mjs capture --sizes <size>
```

This runs the app's build and its full test suite, injects the acceptance oracle for the grading pass only, runs the convention and blast-radius checks, runs the capture eval and the doctor (skipped for the stock arm), folds in each rubric, computes the Overall composite, appends a row per cell to `stats.jsonl` and updates `history.jsonl` in place for a re-measurement, regenerates `REPORT.md`, writes per-run snapshots to `runs/`, then **resets the cells**. Pass `--no-reset` to inspect them first.

### 6. Report

Print the size's three-column table including the Overall rows and the version line, surface the reviewer's ranking and verdict with the arm names now attached, and confirm the cells were reset.

© alfredoperez · MIT · alfredoperez/speckit-companion

Похожие слэш-команды

Все слэш-команды по теме «Настройка агента: память, контекст, субагенты» →
bmad-eval bmad-code-org Скилл bmad-eval для Claude Code, Codex, Cursor и Copilot, который прогоняет тесты другого скилла и отчитывается о результатах. Запускается, когда нужно проверить триггеры описания, сравнить версии или оценить качество по рубрике. CX Codex +1 9 100установок gaia-architecture-comparison ruvnet Скилл gaia-architecture-comparison для Claude Code, Codex, Cursor, Copilot и Gemini CLI, который сравнивает harness ruflo с эталонной реализацией HAL от Princeton по девяти параметрам — от покрытия вопросов до исполнения кода. CX Codex +1 433установок self-improve Yeachan-Heo Скилл self-improve для Claude Code, Codex, Cursor, Copilot и Gemini CLI, который запускает автономный цикл улучшения кода с турнирным отбором лучших изменений. CX Codex +1 809установок doca-bench NVIDIA Запускает doca_bench и измеряет производительность библиотек DOCA на хосте или BlueField Arm. Проверяет пропускную способность, задержки и базовые показатели перед изменениями. CX Codex +1 166установок agent-eval colbymchenry Замеряет, насколько CodeGraph ускоряет агента по сравнению с обычным grep/read. Запускается по команде /agent-eval и прогоняет A/B-сравнение на реальном репозитории. CX Codex +1 1 800установок llm-eval-harness daymade Скилл llm-eval-harness для Claude Code, Codex, Cursor и других платформ: проверяет сторонний LLM-эндпоинт на доступность, скорость, точность следования system prompt и соответствие протоколу. CX Codex +1 438установок

Из того же набора83

Весь набор →
speckit.companion.living-drift Команда speckit.companion.living-drift показывает, какие файлы возможностей living spec изменились с момента последнего коммита их спецификаций. Помогает найти изменения, которые не попали обратно в спецификацию. CX Codex +1 ★ 110звёзд репо speckit.companion.resume Команда speckit.companion.resume для Claude Code восстанавливает состояние spec-driven разработки после перерыва. Она переносит записанные решения в контекст и запускает следующий шаг пайплайна. CX Codex +1 ★ 110звёзд репо speckit.git.commit Команда speckit.git.commit для Claude Code добавляет изменения в индекс Git и создаёт коммит после команд Spec Kit по настройкам конфигурации проекта. CX Codex +1 ★ 110звёзд репо speckit-git-commit Скилл speckit-git-commit автоматически добавляет и коммитит изменения после команд Spec Kit. Он пригодится, когда историю Git нужно обновлять через настройки проекта. CX Codex +1 ★ 110звёзд репо speckit.companion.living-validate Команда speckit.companion.living-validate проверяет разметку living-спецификаций и дельт без правки файлов. Находит требования без сценариев, битые заголовки и синтаксические ошибки. CX Codex +1 ★ 110звёзд репо publish Команда publish проводит выпуск версии VS Code-расширения: проверяет релизные условия, помогает подготовить чейнджлог, обновить версию и отправить коммит с тегом. Для Codex файл команды устанавливают отдельно. CX Codex +1 ★ 110звёзд репо release-loop Команда release-loop для Claude Code и Codex проводит пакет изменений через исправления, QA и выпуск релиза. Перед публикацией она собирает отчёт и ждёт одобрения. CX Codex +1 ★ 110звёзд репо bench-wave Команда bench-wave запускает полный цикл бенчмарка для этапа оптимизации pipeline-diet в Speckit Companion и сохраняет метрики в сводную таблицу. Пригодится при замерах скорости и расхода токенов. CX Codex +1 ★ 110звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой