qp-regress — скилл для Claude Code: что делает и как установить
Повторно прогоняет тест-кейсы без правок, проверяет выход за пределы стартового экрана и строит дельту по каждому тесту.
npx skills add chrono-meta/forge-harness --skill qp-regress -a claude-codeЧто делает qp-regress
Скилл отвечает за этап регрессионного тестирования в пайплайне QP. На вход он берёт базовый прогон из qp/run/<ts>/ и исходный файл qp/plan/tcs.tsv. Все тесты выполняются заново через qp-run без изменений: редактировать сценарии ради прохождения нельзя, потому что это превращает регрессию в новый запуск.
Затем скрипт plugins/fh-qp/scripts/qp_tools.sh вычисляет метрику surface_reach. Она показывает, вышли ли тесты дальше входного экрана или весь прогон упёрся в форму входа либо сломанное окружение. Результат делится на REACHED, PARTIAL, NOT_REACHED или UNMEASURED. Если прогон получил NOT_REACHED, упавшие тесты считаются неизмеренными, а не найденными ошибками продукта.
Итог работы сохраняется в папку qp/regress/<ts>/. Скилл формирует таблицу delta.tsv, где фиксирует статус по каждому кейсу отдельно. Если агрегат показывает одинаковое число пройденных проверок, но статус сместился или автоматический вердикт сменился эвристическим, строка помечается флагом changed=yes. Без установленного интерпретатора bash и готовой структуры базового прогона запуск завершится ошибкой.
Какие задачи решает
- повторить прогон набора тестов без ручных правок сценариев
- проверить блокировку тестов на начальном экране интерфейса
- сравнить результаты двух прогонов по каждому отдельному тест-кейсу
- выявить ослабление автоматических проверок между прогонами
Примеры запросов агенту
- Проверь регрессию относительно прошлого запуска
- Перезапусти прошлый тестовый прогон и сравни результаты
- Сравни текущий прогон с базовым через qp-regress
Как установить qp-regress
1Через Skills CLI (Vercel)
npx skills add chrono-meta/forge-harness --skill qp-regress -a claude-code2Вручную: положить файлы
~/.claude/skills/qp-regress/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/qp-regress/
1Через Skills CLI (Vercel)
npx skills add chrono-meta/forge-harness --skill qp-regress -a codex2Вручную: положить файлы
.agents/skills/qp-regress/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add chrono-meta/forge-harness --skill qp-regress -a cursor2Вручную: положить файлы
.cursor/skills/qp-regress/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install chrono-meta/forge-harness qp-regress2Вручную: положить файлы
.github/skills/qp-regress/SKILL.md1Через Skills CLI (Vercel)
npx skills add chrono-meta/forge-harness --skill qp-regress -a gemini-cli2Командой платформы
gemini skills install https://github.com/chrono-meta/forge-harness --path plugins/fh-qp/skills/qp-regressВручную: положить файлы
.devin/skills/qp-regress/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add chrono-meta/forge-harness --skill qp-regress -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о qp-regress
Как установить qp-regress в Claude Code?
Выполните команду npx skills add chrono-meta/forge-harness --skill qp-regress -a claude-code в терминале.
Что делает qp-regress?
Он перезапускает базовые тест-кейсы без изменений, проверяет достижимость экранов через surface_reach и формирует отчёт report.md с дельтой статусов по каждому тесту.
Что означает статус NOT_REACHED в отчёте?
Этот статус означает, что ни один тест не ушёл дальше стартового экрана, поэтому все падения считаются неизмеренными, а не подтверждёнными дефектами.
Исходный текст
SKILL.md · MIT
--- name: qp-regress description: Regression stage of QP — re-executes a previous run's test cases unchanged, computes surface_reach (how many TCs left the entry screen, as a ratio over ALL TCs), and reports the per-TC delta against the earlier run so a "no change" claim is per case, not an aggregate. Triggers on "did anything regress since last run", "re-run last week's QA pass", "compare this run with the previous one", "회귀 확인해줘", "지난 런이랑 비교해줘". user-invocable: true allowed-tools: ["Read", "Bash", "Write", "Glob", "Grep"] model: sonnet origin: chamber run fh-qa-generic (2026-09-05) --- # qp-regress — Regression (re-run unchanged → surface_reach → delta) Input: a baseline `qp/run/<ts>/` and the same `qp/plan/tcs.tsv`. Output: `qp/regress/<ts>/`. ## 1. Re-run unchanged Execute the baseline's TCs with `qp-run` **without editing them**. Editing a TC to make it pass is a new run, not a regression — say so if the user asks for it. ## 2. surface_reach — did the batch leave the entry screen? ``` bash plugins/fh-qp/scripts/qp_tools.sh surface-reach qp/run/<new-ts>/evidence.tsv ``` | result | meaning | |---|---| | `REACHED n/n` | every TC observed a screen other than the modal (entry) one | | `PARTIAL k/n` | some did — report **which** did not, by tc_id | | `NOT_REACHED 0/n` | the whole batch sat on one screen (a login wall, a dead env). Every FAIL in that run is **unmeasured**, not a detection — write that sentence in the report | | `UNMEASURED` (rc 10) | no evidence file / empty — not a zero | Denominator is **all TCs**, including ones that never executed; write `surface_reach.txt` with the raw line. ## 3. Per-TC delta — `delta.tsv` ``` tc_id baseline_status new_status changed note ``` One row per TC. `changed=yes` on any status change **or** on a same-status verdict whose `closure` moved from MACHINE to JUDGMENT (the check got weaker). A run where every row is `changed=no` may say "no regression"; a run reported only as "12 PASS both times" may not — the aggregate hides a swap. ## 4. Report — `report.md` First 8 lines: target · engine/adapter/evidence · `#mtm:` state · surface_reach line · counts PASS/FAIL/BLOCKED/AMBIGUOUS new vs baseline · number of `changed=yes` · the sentence for NOT_REACHED if it applies · what was **not** measured (unexecuted TCs, dropped screenshots). ## Done When 1. `surface_reach.txt` holds a `REACHED|PARTIAL|NOT_REACHED|UNMEASURED` line produced by the tool · **[mandatory-pass]**. 2. `delta.tsv` has one row per TC in the baseline · **[measured]** — row count equals distinct tc_ids. 3. A NOT_REACHED run's report contains the "FAILs are unmeasured" sentence · **[measured]** — grep. 4. The delta's `changed` column reflects real behavior change, not selector drift · **[judged — pairing: for each `changed=yes`, the before/after DOM snapshots are attached and a second session confirms the element moved, not the locator]**. ## Independently executable Yes — needs a baseline run dir in the documented shape and bash.
© chrono-meta · MIT · chrono-meta/forge-harness