К основному содержанию
скилл CX Codex

absolute-deflake — скилл для Claude Code: поиск нестабильных тестов

Скилл absolute-deflake для Claude Code находит тесты, которые то проходят, то падают, и исправляет источник нестабильности. Запускается по запросам о случайных сбоях тестов и проблемах с flaky CI.

MIT 165 установок ★ 224 обновлён 2026-10-26

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add dhruvjainin/absolute --skill absolute-deflake -a claude-code
Открыть на GitHub

Что делает absolute-deflake

Скилл проверяет тесты повторными запусками, меняет порядок и сравнивает результаты изолированного и параллельного прогонов. Он ищет причину сбоя, предлагает исправить её и повторно проверяет тесты; добавлять повторы, пропуски или sleep вместо исправления нельзя.

Для Jest и Vitest он запускает набор тестов несколько раз и перемешивает порядок, для pytest использует pytest-randomly и pytest-repeat, для Go — -count=N, -shuffle=on и -race. Если настройка preferences.health.deflakeRuns не задана, число повторов по умолчанию — 20. Скилл использует общий цикл из references/health-engine.md.

Сначала он фиксирует частоту сбоев, затем связывает её с возможной причиной и исправлением. После правки нужно проверить тесты многократными рандомизированными запусками и повторно выполнить весь набор. Если нестабильность вызвана гонкой в коде продукта, а не тестом, скилл помечает такой случай для отдельного исправления.

Какие задачи решает

  • найти тесты, которые падают время от времени
  • выявить зависимость результата от порядка или параллельного запуска
  • найти причину гонки, утечки ресурса или общего состояния
  • убрать маскирующие сбои пометки retry, skip и flaky

Примеры запросов агенту

  • Найди и исправь тесты, которые случайно падают в CI.
  • Проверь, почему этот тест проходит отдельно, но падает в общем наборе.
  • Разбери нестабильные тесты с пометкой retry.

Как установить absolute-deflake

1Через Skills CLI (Vercel)

npx skills add dhruvjainin/absolute --skill absolute-deflake -a claude-code

2Вручную: положить файлы

~/.claude/skills/absolute-deflake/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/absolute-deflake/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об absolute-deflake

Как установить absolute-deflake в Claude Code?

Выполни npx skills add dhruvjainin/absolute --skill absolute-deflake -a claude-code. Файл скилла находится по пути ~/.claude/skills/absolute-deflake/SKILL.md.

Что делает absolute-deflake?

Он многократно запускает нестабильные тесты, ищет причину сбоев и проверяет исправление на повторных запусках. Вместо повторов, пропуска теста или задержки он нацелен на источник недетерминированного поведения.

Как absolute-deflake проверяет нестабильность тестов?

Он сравнивает повторы, случайный порядок, изолированные и параллельные запуски. Для Jest и Vitest, pytest и Go использует разные команды и параметры.

Исходный текст

SKILL.md · MIT
---
name: absolute-deflake
version: 0.5.0
description: >
  Flaky test fixes: detect nondeterministic tests empirically (repeat/shuffle/parallel runs), diagnose the root cause, fix it — never retry/skip/sleep — and verify across many randomized runs.
  Triggers on "absolute deflake", "fix flaky tests", "CI is flaky", "this test fails randomly/intermittently".
category: workflow
tags:
  - workflow
  - testing
  - flaky-tests
  - maintenance
platforms:
  - claude-code
  - gemini-cli
  - openai-codex
  - mcp
user-invocable: true
argument-hint: "[target]"
license: MIT
maintainers:
  - github: maddhruv
---

> Start your first response with the 🧪 emoji.

## Absolute Deflake

Find tests that pass and fail nondeterministically, diagnose the **root cause** of each,
and fix it — not by retrying or skipping, but by removing the source of nondeterminism.
Output is evidence (failure rate per test) → cause → fix, verified by repeated runs.

Runs the shared engine in **`references/health-engine.md`** — read it for the
DETECT → SCAN → TRIAGE → FIX → VERIFY → REPORT loop and the safety contract. This file
covers only what's specific to flaky tests.

---

## When to use

- "Our CI is flaky", "this test fails randomly", "fix the intermittent failures".
- A test passes locally but fails in CI (or vice versa), or fails ~1 in N runs.
- Burning down a backlog of `retry`/`skip`-marked tests that mask real flakiness.

Not for tests that fail *deterministically* — that's a real bug or a real regression
(`/absolute work` for a fix, or just fix it). `deflake` targets *nondeterministic* failures.

---

## What it scans

Establish flakiness empirically — a test isn't flaky because someone said so. Use
`preferences.health.deflakeRuns` from config as the default N for repeat-runs (else 20):

| Ecosystem | Repeat-run / detect |
|---|---|
| Jest/Vitest | run suite N× (`--run` loop), randomize order (`--shuffle` / `testSequencer`) |
| pytest | `pytest-randomly` + `pytest --count=N` (`pytest-repeat`); `-p no:randomly` to A/B |
| Go | `go test -count=N -shuffle=on ./...`, `-race` |

Also mine signals: existing `retry`/`flaky`/`skip` annotations, CI history if reachable, and
run the suite both **in isolation** and **in full/parallel** — order- and concurrency-
dependent failures only show one way. Record a **failure rate** per suspect test.

---

## Common root causes (diagnose, don't guess)

| Cause | Tell | Fix |
|---|---|---|
| Test-order / shared state | passes alone, fails in suite (or vice versa) | isolate state; reset/teardown between tests |
| Time / clock | fails near midnight, DST, or under load | fake timers / inject clock; no real `sleep` |
| Async race / missing await | fails under parallelism or slow CI | await the actual condition; no fixed timeouts |
| Randomness | fails ~X% with no pattern | seed the RNG; fix the seed in tests |
| Network / external I/O | fails offline or on slow links | mock/stub the boundary |
| Unordered collections | fails on map/set iteration order | sort before asserting |
| Resource leak / port reuse | fails on repeat or parallel runs | unique resources; clean up |

---

## Risk ranking (TRIAGE)

| Wave | Class | Default |
|---|---|---|
| 1 | clear, isolated cause (seed, await, fake clock, sort) | fix now |
| 2 | shared-state / ordering — needs fixture refactor | fix this pass, per test |
| 3 | flakiness pointing at a **real product race**, not just the test | gated — surface; may be a genuine bug to fix in code |

A flaky test sometimes means the *code* has a race, not the test. Don't "stabilize" the test
into hiding a real concurrency bug — flag wave-3 cases for a real fix.

---

## Fix & verify

- Fix the **cause**. Then prove it: re-run the test **many times** (and shuffled / parallel /
  with `-race`) — green once is not deflaked; green across N randomized runs is.
- Remove the `retry`/`skip`/`flaky` annotation that was masking it once the cause is fixed.
- **Never** "fix" by adding retries, raising timeouts blindly, `sleep`, or skipping the test —
  that hides flakiness, doesn't remove it.
- Re-run the **full** suite to confirm the fix didn't destabilize neighbors.

---

## Gotchas

1. **Retry/skip as a fix.** Masks the flake, ships the nondeterminism. Forbidden here.
2. **`sleep` to dodge a race.** Slows the suite and still flakes under load. Await the condition.
3. **One green run = done.** Flakes are probabilistic — verify with many randomized runs.
4. **Stabilizing a real product race.** If the *code* races, fix the code, not just the assertion.
5. **Ignoring order/parallel dimension.** Run isolated *and* in-suite; the bug hides in whichever you skip.

---

## Companion commands

- **`/absolute upgrade`** — a flaky suite makes upgrade verification unreliable; deflake first.
- **`/absolute debt`** — flaky-test annotations are test debt; this clears them at the root.
- **`/absolute work`** — when the flake is a genuine product-code race needing real design.

© dhruvjainin · MIT · dhruvjainin/absolute

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
flaky-test-triage davila7 Слэш-команда flaky-test-triage находит тест, который то проходит, то падает без изменений в коде, и вычищает причину — гонку, зависимость от порядка, утечку состояния. CX Codex +1 24установок test-guard amElnagdy Скилл test-guard для Claude Code и других агентов проверяет сгенерированные тесты на избыточность, лишние моки и совпадение с логикой проекта перед коммитом. Работает с pytest, Jest, Vitest, Go и PHPUnit. CX Codex +1 4 400установок test-coverage cognitedata Скилл test-coverage находит пробелы в покрытии тестами приложения на Flows и закрывает их: настраивает инструменты, пишет недостающие тесты, правит код ради тестируемости. CX Codex +1 1 900установок unit-testing kindlmann Скилл unit-testing для Claude Code помогает писать модульные тесты на Jest, Vitest и pytest. Он включается при запросах про заглушки, покрытие, таймеры или снимки тестов. CX Codex +1 1 500установок testing-best-practices agent-skills Скилл testing-best-practices для Claude Code: 34 правила по юнит- и интеграционным тестам и TDD в 7 категориях на TypeScript с Jest и Vitest. Покрывает написание и разбор чужих тестов. CX Codex +1 975установок encore-testing encoredev Скилл encore-testing для Claude Code. Помогает писать и запускать автотесты для Encore.ts через encore test и vitest или jest. Покрывает эндпоинты и сервисы без ручной настройки изолированных баз. CX Codex +1 846установок

Из того же набора11

Весь набор →
absolute-simplify Скилл absolute-simplify для Claude Code и Cursor, который упрощает код, снижает вложенность и удаляет мёртвый код. Запускается автономно на изменённых файлах или выбранном пути. CX Codex +1 336установок absolute-work Скилл absolute-work для Claude Code и Codex ведёт разработку через фазовые переходы от интервью по архитектуре до проверенного тестами кода. Включается при запросах на полный цикл создания фичи или миграцию. CX Codex +1 216установок absolute-spec Скилл absolute-spec для Claude Code превращает запрос на функцию в проектную спецификацию после изучения кодовой базы. Агент задаёт несколько уточняющих вопросов, записывает документ в docs/plans/ и передаёт его на отдельную оценку. CX Codex +1 176установок absolute-docs Скилл absolute-docs для Claude Code структурирует техническую документацию по методологии Diátaxis. Помогает писать руководства, справочники, README и проводить аудит существующих страниц. CX Codex +1 171установок absolute-prune Скилл absolute-prune для Claude Code очищает репозиторий от мёртвого кода и неиспользуемых зависимостей. Запускается на чистой ветке main по подтверждённым данным статических анализаторов. CX Codex +1 170установок absolute-debt Скилл absolute-debt для Claude Code устраняет накопленные ошибки линтеров и проверки типов по всему репозиторию. Очистка запускается волнами на зелёной ветке main. CX Codex +1 162установок absolute-init Скилл absolute-init для Claude Code настраивает absolute под проект и предпочтения разработчика. Запускается по запросу «настрой absolute» или при первом использовании absolute в репозитории. CX Codex +1 160установок absolute-upgrade Скилл absolute-upgrade для Claude Code обновляет устаревшие и уязвимые зависимости по группам риска. Запускается на зелёной основной ветке или по просьбе обновить пакеты. CX Codex +1 155установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой