К основному содержанию
скилл CX Codex

consistency-audit — скилл для Claude Code: аудит и установка

Скилл consistency-audit для Claude Code проверяет согласованность навыков, библиотечного кода и словаря проекта. Запускается по запросу, перед релизом или после серии правок.

Apache-2.0 ★ 89 обновлён 2026-11-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add bis-med-it/marco-BIS --skill consistency-audit -a claude-code
Открыть на GitHub

Что делает consistency-audit

Скилл сверяет три слоя фреймворка: рабочие процессы в skills/, реализацию в scripts/lib/ и спецификации в skills/model-dictionary/. Он ищет расхождения в нумерации этапов, терминологии и описании поведения, а также проверяет, доступны ли навыки из оркестратора и совпадают ли документы с кодом.

Аудит включает автоматический тест python -m pytest tests/test_doc_consistency.py -q, смысловую проверку и запуск репликации python scripts/replications/blanchard_quah_1989/replicate.py. Для последнего ожидается таблица сравнения с результатом 6/6 и файлы в outputs/. Команды используют Python и pytest.

Скилл собирает приоритетный список найденных проблем с путями и строками, предлагает исправления и ждёт подтверждения перед правками. Это отдельная проверка обслуживания, а не этап исследовательского цикла.

Какие задачи решает

  • найти расхождения между навыками, кодом и словарём
  • проверить нумерацию этапов во фреймворке
  • сверить инструкции с фактическим поведением кода
  • составить список проблем с приоритетами и строками файлов

Примеры запросов агенту

  • Проведи аудит фреймворка и проверь согласованность его этапов.
  • Проверь, не разошлись ли skills/, scripts/lib/ и skills/model-dictionary/ после правок.
  • Подготовь аудит перед релизом и предложи исправления на подтверждение.

Как установить consistency-audit

1Через Skills CLI (Vercel)

npx skills add bis-med-it/marco-BIS --skill consistency-audit -a claude-code

2Вручную: положить файлы

~/.claude/skills/consistency-audit/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/consistency-audit/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о consistency-audit

Как установить consistency-audit в Claude Code?

Выполни npx skills add bis-med-it/marco-BIS --skill consistency-audit -a claude-code. Файл скилла находится по пути ~/.claude/skills/consistency-audit/SKILL.md.

Что делает consistency-audit?

Проверяет согласованность навыков, библиотечной реализации и словаря, затем запускает тесты, смысловую проверку и сквозную репликацию. Найденные проблемы оформляет как список с приоритетами и ссылками на строки файлов.

Какие проверки запускает consistency-audit?

Он запускает python -m pytest tests/test_doc_consistency.py -q, проверяет смысловую согласованность материалов и выполняет python scripts/replications/blanchard_quah_1989/replicate.py. Для команд нужны Python и pytest.

Исходный текст

SKILL.md · Apache-2.0
---
name: consistency-audit
description: >
  On-demand framework self-audit. Checks the three layers (skills ↔ lib ↔
  dictionary) for drift, internal inconsistency, and doc-vs-practice mismatch.
  Use when the user asks to "audit the framework", "check for consistency /
  drift", "is the workflow consistent", "go through the end-to-end process",
  before a release or promotion, or after a batch of edits to skills, lib, or
  the dictionary. This is NOT a stage of the 7-stage research loop; it is a
  maintenance pass run occasionally, on demand, by a framework developer.
---

# Consistency audit

The framework's three layers (the `skills/` workflow + knowledge, the
`scripts/lib/` implementation, and the `skills/model-dictionary/` specs) must
not silently drift out of agreement.

There are **two layers of defence**, and you run both:

| Layer | Where | Cadence | Catches |
|---|---|---|---|
| **Mechanical** | `tests/test_doc_consistency.py` | every test run (automated) | YAML parse breaks, index↔entries drift, stale module/entry counts, invalid `verified.status`, broken skill→file links, dangling `lib.*` references, replication folders missing core files |
| **Semantic** | this skill | on demand | stage-numbering coherence, propose/confirm choreography, doc-vs-practice, orphaned/overlapping skills, terminology drift (the judgement calls a regex can't make) |

The mechanical layer is necessary but **not sufficient**: a green test suite
with an incoherent workflow is still broken. Run the semantic pass too.

## When to run

- The user asks to audit / check the framework, or to "go through the
  end-to-end process".
- Before promoting work to canonical, or before a release.
- **After a batch of edits to skills, lib, or the dictionary**, especially a
  paper rebuild. Rebuilds can silently break dependent tests and docs.

## Procedure

### Step 1: Mechanical checks (fast, deterministic)

```
python -m pytest tests/test_doc_consistency.py -q
```

Every failure is a concrete drift with a `file:line`. Fix or report each. If
during the audit you find a new class of drift that is *mechanically* checkable
(a count, a reference, a parse, a path), **encode it as a new test here** so it
can never regress. That is how the mechanical layer grows.

### Step 2: Semantic audit (judgement)

A regex can't read meaning. By reading the skills, check:

1. **Stage-numbering coherence.** The orchestrator is the source of truth:
   Stages 0a (knowledge-base initialisation) and 0b (intake & triage) fold
   into the Stage-1 log entry; Stage 1 = mode-specific entry flow, 2 = specification, 3 = data,
   4 = estimation, 5 = sensibility, 6 = results, 7 = disposition. Every
   sub-skill that names a stage must match.
2. **Propose → confirm choreography.** Every decision-point skill must *propose
   a specific choice with rationale and wait for confirmation*, never
   blank-ask (design principle 3). Flag any skill that merely describes.
3. **Doc-vs-practice.** Spot-check that what the skills / CLAUDE.md claim
   matches what the code does: output paths, default hyperparameters, file
   locations, method availability.
4. **Orphaned / overlapping skills.** Is every skill in the orchestrator's
   invocation table reachable from a stage (or clearly marked optional/on
   request)? Do two skills run the same check without a stated division of
   labour?
5. **Terminology / vocabulary.** The same concept uses the same name across
   skills, e.g. the three `verified.status` levels
   (`draft | checked_against_paper | signed_off`), the mode labels (A/B/C).
6. **Source-priority agreement.** Every statement of the knowledge-source
   cascade uses the one canonical order, `user > model dictionary > knowledge
   base > parametric > data-driven`, with economic logic checked at every
   level, defined once in `specification/SKILL.md`.

### Step 3: Live execute smoke (prove the path, not just the prose)

Run one fast verified replication end-to-end and confirm it still passes its
paper targets:

```
python scripts/replications/blanchard_quah_1989/replicate.py
```

Expect a `6/6` paper-target comparison table and output files under the script's
co-located `outputs/`. A clean mechanical + semantic audit with a broken
execute path is still a broken framework.

### Step 4: Report & fix (propose, confirm)

Compile a prioritized findings list (**P1** misleads the agent or user · **P2**
real friction or latent contradiction · **P3** polish), each item with a
`file:line` and a one-line fix. Per design principle 3, **propose the fixes and
wait for the user's confirmation** before editing; then re-run Steps 1–3 to
green. Record the audit (date, findings, dispositions) in your own notes, and
update CONVENTIONS.md or docstrings where a finding changes behaviour.

## Adding new invariants

When the audit surfaces a new class of drift, decide where it belongs:

- **Mechanically checkable** (counts, references, parse-ability, paths, schema)
  → add a test to `tests/test_doc_consistency.py`. **Prefer this**: it runs
  continuously and can't be forgotten.
- **Judgement-only** (semantics, choreography, design coherence) → add a bullet
  to Step 2 above so the next on-demand audit covers it.

© bis-med-it · Apache-2.0 · bis-med-it/marco-BIS

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
test-audit mblode Скилл test-audit для Claude Code, Cursor, Codex и других агентов, который вырезает малоценные тесты из сьюта до заданной цели, сохраняя покрытие. Запускается как точечный аудит папки или кампания на весь репозиторий с числовым таргетом. CX Codex +1 283установок system-audit gasserane Проверяет согласованность системы агентов, вики и тестового стенда. Запускается по команде /system-audit или перед /li curate. CX Codex +1 661установок testing-livekit-agents livekit Скилл testing-livekit-agents генерирует пошаговые тесты для агентов LiveKit в pytest или Vitest. Помогает проверить вызовы тулов, передачи диалога и регрессии прямо в коде. CX Codex +1 516установок pytest-skill TestMu AI Пишет тесты pytest — фикстуры, parametrize, маркеры, мокинг и conftest. Покрывает Python-код тестами без ручной возни. CX Codex +1 442установок code-production-process bobmatnyc Скилл code-production-process для Claude Code запускает шестиступенчатый контроль качества при нетривиальных изменениях: более 50 строк кода или несколько исходных файлов. CX Codex +1 201установок python-testing-patterns Seth Hobson Скилл python-testing-patterns помогает писать тесты Python с pytest, фикстурами и моками. Подходит для настройки тестового набора и отладки падающих проверок. CX Codex +1 36 943установок

Из того же набора12

Весь набор →
advisor-protocol Скилл advisor-protocol для Claude Code передаёт сложные математические выводы на проверку более способной модели. Он подключается, когда агент сомневается в переводе формул в код или трактовке обозначений. CX Codex +1 ★ 89звёзд репо econometric-diagnostics Скилл econometric-diagnostics для Claude Code проверяет остатки и адекватность VAR/BVAR после оценки модели или по запросу проверить автокорреляцию, гетероскедастичность, нормальность и структурные сдвиги. CX Codex +1 ★ 89звёзд репо model-selection Скилл model-selection для Claude Code подбирает эконометрическую модель под исследовательский вопрос и доступные данные. Запускается, когда нужно выбрать подход или проверить уже выбранную модель. CX Codex +1 ★ 89звёзд репо research-log Скилл research-log для Claude Code ведёт журнал решений и этапов эконометрического анализа. Он подключается после завершения этапа другим скиллом MaRCo@BIS или по запросу на аудит, воспроизводимость либо сводку сессии. CX Codex +1 ★ 89звёзд репо knowledge-base Скилл knowledge-base для Claude Code согласует общие эконометрические знания агента с данными и правилами конкретной страны. Он подключается при настройке анализа или работе с местными источниками и исследованиями. CX Codex +1 ★ 89звёзд репо model-dictionary Скилл model-dictionary для Claude Code подбирает эконометрические спецификации по научной литературе. Агент ищет подход к исследовательскому вопросу или разбирает новую статью для словаря. CX Codex +1 ★ 89звёзд репо benchmarking Скилл benchmarking для Claude Code проверяет качество прогнозов и корректность результатов оценки. Запускается по запросу после расчёта модели или при подготовке результатов к публикации. CX Codex +1 ★ 89звёзд репо results-presentation Скилл results-presentation для Claude Code, который оформляет эконометрические результаты в графики, таблицы и текстовую интерпретацию. Запускается на этапе подготовки отчёта или по просьбе показать результаты и подготовить их к публикации. CX Codex +1 ★ 89звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой