К основному содержанию
скилл CX Codex

eval-speckit-extension — скилл для Claude Code: как установить

Скилл eval-speckit-extension проверяет работу расширения speckit-extension на реальной спецификации. Он валидирует срабатывание хуков жизненного цикла и запись шагов в .spec-context.json.

MIT ★ 110 обновлён 2026-10-19

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add alfredoperez/speckit-companion --skill eval-speckit-extension -a claude-code
Открыть на GitHub

Что делает eval-speckit-extension

Скилл служит регрессионным тестом для расширения speckit-extension из состава SpecKit Companion. Он анализирует каталог спецификации в specs/ и сопоставляет выполненные команды со снимком состояния. Агент определяет нужную папку по последним действиям в чате или берёт каталог с самым свежим файлом .spec-context.json.

Проверка состоит из двух детерминированных скриптов на Python и диалоговой сверки. Скрипт check_capture.py валидирует монотонность меток времени и канонический массив history[], отсекая устаревшие структуры. Следом check_quality.py оценивает лимиты объёма спецификаций, всплески задач и отсутствие блокирующих инструкций в командах.

Для работы скилла в системе должен быть установлен python3, иначе проверка прервётся на первом шаге. На завершающем этапе формируется итоговая таблица из семи критериев с оценками PASS, PARTIAL или FAIL, показывающая расхождения между логами и вызовами в сессии.

Какие задачи решает

  • Проверить запись хуков жизненного цикла в .spec-context.json
  • Выявить неточные или искусственно сгруппированные метки времени
  • Оценить объём артефактов спецификации через check_quality.py
  • Найти дубликаты записей по отдельным задачам после реализации

Примеры запросов агенту

  • /eval-speckit-extension
  • Проверь, сработали ли хуки для последней спецификации
  • Убедись, что шаги реализации попали в .spec-context.json

Как установить eval-speckit-extension

1Через Skills CLI (Vercel)

npx skills add alfredoperez/speckit-companion --skill eval-speckit-extension -a claude-code

2Вручную: положить файлы

~/.claude/skills/eval-speckit-extension/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/eval-speckit-extension/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об eval-speckit-extension

Как установить eval-speckit-extension в Claude Code?

Выполните в терминале команду npx skills add alfredoperez/speckit-companion --skill eval-speckit-extension -a claude-code. Файл скилла запишется в ~/.claude/skills/eval-speckit-extension/SKILL.md.

Что делает скилл eval-speckit-extension?

Скилл запускает сквозную проверку интеграции speckit с проектом. Он выполняет Python-скрипты валидации и сверяет действия пользователя в чате с историей в .spec-context.json.

Какие скрипты запускаются при проверке?

Скилл последовательно запускает python3 apps/speckit-extension/scripts/check_capture.py для проверки истории и check_quality.py для контроля лимитов текста и времени.

Исходный текст

SKILL.md · MIT
---
name: eval-speckit-extension
description: Evaluate the speckit-extension end-to-end against a real spec — verify lifecycle hooks fired, .spec-context.json captured each step into canonical history[], timing is real (not backfilled), and per-task execution was journaled. Umbrella eval for the spec-kit-side extension; grows as features land (auto-mode, etc.). Use when the user says "/eval-speckit-extension", "verify the extension worked", "did the hooks fire", "check the capture", or just ran a /speckit.* spec and wants it validated.
---

# Eval: speckit-extension

The regression net for the `speckit-extension` (the spec-kit-side half of SpecKit Companion). It verifies the assumptions behind each feature against a **real spec the user created**, combining a deterministic file checker with a conversational cross-check of what the user actually did this session. Re-run it whenever a lifecycle/auto-mode/future feature ships.

Eval areas (add a section per feature as the extension grows):
1. **Lifecycle capture** (shipped) — hooks → `write-context.py` → canonical `history[]`; per-task journaling; derive-from-files fallback.
2. **Command quality** (shipped) — `check_quality.py`: verbosity budgets on the spec artifacts, time-waste checks on `history[]` (untrusted spans, bursts, outliers), static prompting checks on the command-body sources.
3. _Auto-mode_ (future) — add checks here when it lands.
4. _…_

## Steps

### 1. Resolve the target spec

- If the user named a spec (`NNN` or a dir), use `specs/<that>/`.
- Else pick the spec the user most recently created/ran in **this conversation** (whose `/speckit.*` or `/sdd:*` commands appear above). Fall back to the most recently modified `specs/*/` containing `.spec-context.json`.

### 2. Run the deterministic checker

```bash
python3 apps/speckit-extension/scripts/check_capture.py specs/<NNN>-<slug>/
```

Read the PASS/FAIL/INFO rows and the timing breakdown. (`--json` for machine output; `--strict` to exit non-zero on any FAIL.)

### 2b. Run the command-quality checker

```bash
python3 apps/speckit-extension/scripts/check_quality.py --feature-dir specs/<NNN>-<slug> --commands-dir apps/speckit-extension/commands
```

Same report shape plus a **WARN** tier (judgment calls — budgets, duration outliers, untrusted spans; never affects `--strict`, which fails only on FAIL). Three dimensions: **verbosity** (spec/plan/tasks against line/char WARN/FAIL bands calibrated on the completed specs 484/509/510 — only oversize flags; a missing or lean artifact is fine), **time-waste** (each reached step's span trusted only with ordered extension-stamped boundaries; ≥3 `by:ai` task finishes inside one second FAIL as the pre-#509 burst shape; a step >8× the median of the others and >5m WARNs), and **prompting** (never-halts commands — the after-* hooks, living-drift/sync/coverage, mark-complete, status, resume, classify — must contain no ask-the-user instruction; the clarify carrier must ask; negated mentions and fenced templates don't count; a missing roster file fails loudly). CI runs all three strict over `specs/509-timing-capture`, `specs/510-living-sync`, and the shipped command sources.

### 3. Conversational cross-check

The checker can't know what the user *did*. Reconstruct it from this conversation and reconcile against the capture:

- List every `/speckit.specify|plan|tasks|implement` (or `/sdd:*`) the user ran this session, with rough timestamps.
- For each, confirm a matching `history[]` entry exists with the expected `step`/`status` and `by: "extension"` (hook fired) — or `by: "ai"` if the AI appended it, `by: "derive"` if reconstructed. (The canonical `by` vocabulary is `extension`/`user`/`cli`/`ai`/`derive`.)
- **Timing reality:** does each capture's `at` land *just after* the command ran (live hook), or are timestamps clustered/round (backfilled)? The `timestamps-real` check flags round-ms; you add the "fired at the right moment" judgement.
- **Task execution:** if `/speckit.implement` ran, confirm per-task substep entries appear. Read `task-cadence`'s **source**: `live (by:ai)` means the AI journaled each task as it finished — non-zero gaps are the real-cadence signal; `hook burst (by:extension)` means the single end-of-step hook synced them — 0ms gaps are *expected* there and not a defect (the AI didn't journal live, so the hook backstopped). Only a *mixed* or duplicated picture is a smell.

### 4. Score the assumptions

Render a verdict table (PASS / PARTIAL / FAIL + one-line evidence):

| # | Assumption (lifecycle capture) |
|---|------------|
| A1 | Each lifecycle step the user ran produced a capture (`after_specify/plan/tasks/implement` → a `history[]` entry). |
| A2 | Writes use canonical `history[]` with explicit `kind` — no legacy `transitions[]`/`stepHistory`. |
| A3 | Timing is real **for deterministic writes** (`by:extension`/`derive`/`cli`/`user`): ms-precision and monotonic (`timestamps-real`/`timestamps-monotonic` check these only). `by:ai` entries carry second precision (`date -u +%SZ`) and may burst — that's graded by `task-cadence`, not failed. |
| A4 | `/speckit.implement` journaled per-task progress as implement **substeps** (`substep == task id`), matching `tasks.md` completed markers. |
| A5 | No-backward-clobber held — no step regressed; an advanced/terminal spec was never dragged back. |
| A6 | (On demand) `derive-from-files.py` reconstructs the same state from artifacts when a hook didn't fire. Test: back up `.spec-context.json`, delete it, run `python3 apps/speckit-extension/scripts/derive-from-files.py --feature-dir specs/<NNN>-<slug>`, diff, restore. |
| A7 | Per-task journaling is **deduped** — each task carries one `start` + one `complete`, so dedup is checked per `(task, kind)` (`per-task-no-duplicates`); a repeated `(task, kind)` means the `after_implement` hook re-added an already-journaled entry. Live AI entries (`by: ai`, real `date -u` timing) are the cadence source. Real per-task cadence requires `task-cadence` source `live (by:ai)` with non-zero gaps; a `hook burst` source means the AI didn't journal live and the hook backstopped (correct final state, coarse timing — not a defect). |

End with a one-paragraph plain verdict: did the extension work, and where reality diverged from the assumptions.

## Extending

When a feature ships:
- add a deterministic assertion to `check_capture.py` (`run_checks`) and, if it's a new area, a new eval section + assumption block above,
- keep `VALID_BY` / `CANONICAL_STEPS` / `CANONICAL_STATUSES` in `check_capture.py` in sync with `apps/vscode/src/core/types/spec-context.schema.json` (the jest drift guard locks schema↔TS; this is the eval side).

© alfredoperez · MIT · alfredoperez/speckit-companion

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
speckit-analyze github-spec-kit Скилл speckit-analyze для Claude Code проводит анализ согласованности файлов spec.md, plan.md и tasks.md. Запускается строго в режиме чтения перед началом кодинга. CX Codex +1 1 600установок speckit.implement Chat2AnyLLM Команда speckit.implement выполняет задачи из tasks.md, сверяясь с планом и проектными документами. Она пригодится, когда нужно пройти план реализации по шагам. CX Codex +1 ★ 117звёзд репо google-agents-cli-eval официальный Google Скилл google-agents-cli-eval оценивает качество ИИ-агентов через agents-cli, находит ошибки и сравнивает прогоны. Включается при отладке датасетов и проверке метрик в проектах на базе Gemini. CX Codex +1 586 000установок bmad-eval bmad-code-org Скилл bmad-eval для Claude Code, Codex, Cursor и Copilot, который прогоняет тесты другого скилла и отчитывается о результатах. Запускается, когда нужно проверить триггеры описания, сравнить версии или оценить качество по рубрике. CX Codex +1 9 100установок eval-mcp pproenca Скилл eval-mcp проверяет схемы MCP-сервера и точность выбора инструментов моделью. Находит пересечения в описаниях и тестирует вызовы на синтетических запросах. CX Codex +1 234установок llm-eval-harness daymade Скилл llm-eval-harness для Claude Code, Codex, Cursor и других платформ: проверяет сторонний LLM-эндпоинт на доступность, скорость, точность следования system prompt и соответствие протоколу. CX Codex +1 438установок

Из того же набора83

Весь набор →
publish-canvas Команда publish-canvas готовит релиз canvas-плагина Copilot: поднимает версию, гоняет тесты, ставит тег canvas-v<X.Y.Z> и обновляет запись в github/awesome-copilot. CX Codex +1 ★ 110звёзд репо bench-replay Команда bench-replay для Claude Code и Codex переигрывает один шаг пайплайна из сохранённого состояния и оценивает эффект изменения. CX Codex +1 ★ 110звёзд репо speckit.tasks Промпт speckit.tasks для Claude Code и Codex собирает из проектных документов план задач tasks.md, упорядоченный по зависимостям и пользовательским историям. Формирует этапы реализации проекта. CX Codex GP ChatGPT ★ 110звёзд репо changelog-entry Команда changelog-entry для Claude Code пишет запись changelog по PR или текущему diff, выбирая файл и формат. Запускается с номером PR или без аргумента. CX Codex +1 ★ 110звёзд репо bench-experiment Команда bench-experiment запускает раунд бенчмарка приложения Conduit и сравнивает результаты с предыдущими прогонами. Она пригодится, чтобы проверить экспериментальные изменения на рабочих ячейках. CX Codex +1 ★ 110звёзд репо speckit.analyze Слэш-команда speckit.analyze сверяет spec.md, plan.md и tasks.md перед реализацией: ищет расхождения, дубли и требования, под которые не создана ни одна задача. CX Codex GP ChatGPT ★ 110звёзд репо speckit.companion.living-sync Команда speckit.companion.living-sync синхронизирует живые спецификации с текущими правками рабочего дерева в один проход. Обновляет существующие файлы spec без перегенерации. CX Codex +1 ★ 110звёзд репо speckit.implement Промпт speckit.implement читает план разработки и выполняет задачи из tasks.md. Подходит для поэтапной реализации в Claude Code и Codex. CX Codex GP ChatGPT ★ 110звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой