К основному содержанию
скилл CX Codex

power-analysis · gaasher — скилл для Claude Code: расчёт мощности и установка

Скилл power-analysis для Claude Code рассчитывает размер выборки для двухгруппового сравнения и помогает подготовить пререгистрацию. Включается при планировании A/B-теста, простого RCT или оценки двух моделей до сбора данных.

MIT ★ 185 обновлён 2026-06-30

Установить в Claude Code · Через маркетплейс плагинов Все способы и платформы ↓
/plugin marketplace add gaasher/Agent-Loop-Skills
/plugin install agent-loops@agent-loop-skills
Открыть на GitHub

Что делает power-analysis

power-analysis моделирует статистическую мощность и подбирает число участников в каждой группе для заданного минимального эффекта. Он проверяет дизайн по контрольному списку валидности и готовит обоснование размера выборки с пререгистрацией гипотезы, основного исхода, анализа и правила остановки.

Скилл рассчитан на одно сравнение двух групп с одним основным исходом: средним непрерывной величины или долей бинарного исхода. Симуляции выполняет Python-скрипт tools/power_sim.py; нужен Python 3.9 или новее. Факторные, повторные, кластерные, временные, адаптивные исследования и анализ уже собранных данных не входят в его задачи.

Какие задачи решает

  • рассчитать выборку для заданной статистической мощности
  • проверить план сравнения по чек-листу валидности
  • зафиксировать гипотезу, основной исход и правило остановки до сбора данных

Примеры запросов агенту

  • Рассчитай выборку для A/B-теста с непрерывным основным исходом и подготовь пререгистрацию.
  • Проверь дизайн сравнения двух моделей с бинарным исходом по чек-листу валидности.

Как установить power-analysis

1Через маркетплейс плагинов

/plugin marketplace add gaasher/Agent-Loop-Skills
/plugin install agent-loops@agent-loop-skills

Команда ставит плагин agent-loops целиком, со всеми его скиллами

2Через Skills CLI (Vercel)

npx skills add gaasher/Agent-Loop-Skills --skill power-analysis -a claude-code

3Вручную: положить файлы

~/.claude/skills/power-analysis/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/power-analysis/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о power-analysis

Как установить power-analysis в Claude Code?

Добавьте маркетплейс командой /plugin marketplace add gaasher/Agent-Loop-Skills, затем установите плагин: /plugin install agent-loops@agent-loop-skills.

Что делает power-analysis?

Скилл моделирует статистическую мощность для сравнения двух групп, рассчитывает нужный размер выборки, проверяет дизайн и готовит пререгистрацию до сбора данных.

Что нужно для работы power-analysis?

Нужен Python 3.9 или новее. Скилл поддерживает одно сравнение двух групп с одним непрерывным или бинарным основным исходом.

Исходный текст

SKILL.md · MIT
---
name: power-analysis
description: >
  Use when the user is planning a two-arm comparison (an A/B test, a simple RCT, a behavioral study, or
  a two-model/two-config evaluation) and needs to size it and preregister it before collecting data —
  finding the per-group sample size that hits target statistical power for the smallest effect worth
  detecting, auditing the design against a validity checklist, and locking it in a preregistration.
  Only for a single two-arm comparison with one primary outcome. Not for factorial, repeated-measures,
  clustered/multilevel, time-series, adaptive, or survival designs; not for analyzing data already
  collected; not for choosing the outcome or manipulation from domain knowledge.
compatibility: Requires Python 3.9+
metadata:
  version: "0.1.0"
---

# Power Analysis Loop

A **power-analysis-and-preregister** loop for a **two-arm comparison**. The artifact is the study's
statistical plan; the feedback signal is two parts — **statistical power** (estimated by Monte-Carlo
simulation of the planned test) and a **count of validity flaws**. Each iteration simulates power,
solves for the sample size that reaches the target, audits the design for flaws, and revises — until
power clears the target **and** the flaw list is empty. The deliverable is a sample-size justification
plus a preregistration that pins the hypothesis, primary outcome, analysis, sample size, and stopping
rule before any data is seen.

## Scope & limitations
This loop does exactly three things, in a loop: **(1)** computes power and required sample size for a
**two-group comparison** by simulation, **(2)** runs a fixed **validity checklist** over the design,
and **(3)** writes a **preregistration**. The vendored power model (`tools/power_sim.py`) covers
**two-sample mean** (continuous outcome) and **two-proportion** (binary outcome) tests only.

It is **not** a general experiment designer. It does **not** handle factorial, repeated-measures,
clustered/multilevel, time-series, adaptive, or survival designs; it does **not** pick your outcome
measure or manipulation from domain knowledge; and it does **not** analyze data you have already
collected. For those, the power numbers here do not apply — use a design-appropriate power method. If
the study is not a simple two-arm comparison, say so and stop rather than reporting a power that does
not match the planned analysis.

## When to use
Use this to size and preregister one two-arm comparison whose primary outcome is a continuous mean or a
binary rate. Default to powering for the **minimal effect of interest** the user states; if they are
unsure of that effect, help them set it from a baseline and a smallest-meaningful difference rather than
an optimistic guess — a design "powered" for an effect bigger than reality is a fiction. If the study is
not a two-arm comparison, stop and point to a design-appropriate method.

## Setup
Resolve bindings interactively. If `loop.run.yaml` exists in the working dir, load it, confirm the
values in one line, and skip to the loop. Otherwise: on Claude Code (the `AskUserQuestion` tool is
available) infer a likely value for each binding and present it as the recommended option; on other
hosts ask each as a quoted plain-text prompt. Then write `loop.run.yaml` (format:
`examples/run.example.yaml`) and confirm the values before creating any other files.

| binding | meaning | default | how to infer |
|---|---|---|---|
| `<hypothesis>` | the claim the experiment tests | — | ask the user |
| `<outcome>` | primary outcome type + minimal effect of interest: continuous (`baseline_mean`, `sd`, `min_effect`) **or** binary (`baseline_rate`, `min_lift`) | — | ask; this fixes the effect size power is computed at |
| `<target_power>` | power the design must clear | `0.80` | — |
| `<alpha>` | significance level | `0.05` | — |
| `<power_cmd>` | invocation of the vendored simulator | `python3 <skill_dir>/tools/power_sim.py --design <two-sample-mean\|two-proportion> --effect <e> [--sd <sd> \| --baseline <p0>] --alpha <alpha> --n <n_per_group>` | — |
| `<design_doc>` | output design + preregistration file | `<sandbox_root>/design.md` | — |
| `<sandbox_root>` | where design + ledger live | `./sandbox` | — |
| `<budget>` | max iterations | 8 | — |

`<power_cmd>` prints one JSON object, `{"power", "n_per_group", ...}`. **Run** it to get the power; never
estimate power by hand.

## The loop
Copy this checklist and tick items off:
- [ ] Iteration 0 — draft the design to `<design_doc>`; record nothing as final.
- [ ] **Simulate** power: run `<power_cmd>` at the current `n` and the assumed effect.
- [ ] **Solve N**: if power `< <target_power>`, re-run at larger `n` (step up, then bisect) until it clears.
- [ ] **Audit validity**: list every flaw from the checklist below.
- [ ] **Revise**: fix the highest-priority flaw, set `n` to the power-adequate value, update `<design_doc>` (+ Preregistration section).
- [ ] Append a ledger row; stop when power clears the target **and** no flaws remain, or at `<budget>`.

**Iteration 0 — draft.** Write a first design to `<design_doc>`: the arms/conditions, the unit of
analysis and how units are assigned, the primary outcome and the exact planned test, the assumed effect
size (from `<outcome>`), and a first sample-size guess. Record nothing as final yet.

**Then, until stop (power met + no flaws, or budget):**

1. **Simulate power.** Run `<power_cmd>` at the current per-group `n` and the assumed effect, with the
   `--design` matching the planned test. Record the achieved power.
2. **Solve N.** If `power < <target_power>`, re-run the simulation at larger `n` — step up (e.g. double),
   then bisect — until power clears the target, and adopt that `n`.
3. **Audit validity.** Check the design against the checklist and list every flaw found:
   - **Confounding / no control** — is there a concurrent control group, or is the comparison against a
     historical/other-source baseline that differs in other ways?
   - **Randomization** — are units randomly assigned? If not, selection bias threatens any effect.
   - **Selection / sampling** — is the sample representative of the population the claim is about?
   - **Multiple comparisons** — more than one outcome/subgroup tested without correction?
   - **Optional stopping / peeking** — is there a pre-specified stopping rule, or will analysis run
     repeatedly until significant?
   - **Outcome & analysis pre-specification** — are the primary outcome and its single planned test
     fixed in advance (not chosen after seeing data)?
   - **Measurement** — is the outcome measured reliably and blind to condition where possible?
4. **Revise.** Fix the highest-priority flaw (or a tightly-coupled pair that cannot be fixed
   independently, such as adding a concurrent control and randomizing assignment to it) and set `n` to
   the power-adequate value. Update `<design_doc>`, including a **Preregistration** section: hypothesis,
   primary outcome, the one planned analysis, sample size + how it was derived, randomization scheme, and
   the stopping rule.
5. **Log** one ledger row and continue.

**Stop** when `power ≥ <target_power>` **and** the flaw list is empty, or at `<budget>`. Report the
final design + preregistration, the achieved power and required `n`, and — if stopping on budget — the
flaws still outstanding.

## Ledger
`<sandbox_root>/ledger.tsv`, tab-separated, never commas in the text. Header:
```
iter	n_per_group	power	open_flaws	change
```
Example:
```
iter	n_per_group	power	open_flaws	change
0	50	0.50	2	draft: volunteers vs last-year cohort, n=50
1	100	0.80	1	solved n for 80% power at d=0.4
2	100	0.80	0	randomized concurrent control; pre-specified single primary outcome + stopping rule
```
Report the **best** iteration: the final design, the achieved power and required `n`, and any flaws
still open if stopping on budget.

## Constraints
- **Power is computed at the minimal effect of interest**, not an optimistic one, because a design
  powered for an effect bigger than reality detects nothing real — and the `--design` in the simulation
  must match the test named in the design. Do not edit `tools/power_sim.py`.
- **A design does not pass on power alone** — an adequately powered but confounded or non-randomized
  design still fails; both gates (power and flaws) must clear.
- **Preregister before data**, so the eventual test is confirmatory rather than chosen after seeing
  results: the analysis, outcome, sample size, and stopping rule are fixed in advance.
- **One primary outcome and one planned test** drive the power and the verdict; secondary analyses are
  labeled exploratory.
- The sandbox is self-contained — no `../` escapes. Do not pause the loop to ask whether to continue.

© gaasher · MIT · gaasher/Agent-Loop-Skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →

Сначала — power-analysis от других авторов.

power-analysis Claude Code Academic Workflow Скилл power-analysis считает мощность, нужный размер выборки и минимальный детектируемый эффект для дизайна исследования, а затем пишет готовый раздел для пререгистрации. CX Codex +1 ★ 1 729звёзд репо quantitative-analysis poemswe Скилл quantitative-analysis для Claude Code выбирает статистические тесты, рассчитывает эффект-размеры и анализирует мощность. Анализирует численные данные с учётом риска p-хакинга и неверной трактовки нулевых результатов. CX Codex +1 280установок ads-test AgriciDaniel Скилл ads-test для Claude Code, Codex, Cursor и других платформ: помогает спроектировать и разобрать рекламный эксперимент — от гипотезы до решения. Проходит все шаги: единица рандомизации, расчёт выборки, гарды, анализ результатов. CX Codex +1 4 000установок ab-test-analysis VoltAgent Субагент ab-test-analysis оценивает результаты A/B-тестирования, проверяет статистическую значимость и метрики безопасности для решений о запуске фичи. CX Codex ★ 6 505звёзд репо statistical-power K-Dense-AI Скилл statistical-power для Claude Code вычисляет размер выборки, необходимый для обнаружения значимого эффекта. Используется при подготовке протокола исследования, гранта или pre-registration. CX Codex +1 1 600установок research-data-analysis hanhuark Скилл research-data-analysis помогает агенту построить базовый случай, проверить гипотезу и оформить результаты с неопределённостью и следами обработки данных. CX Codex +1 ★ 26звёзд репо statistical-analyst Alireza Rezvani Плагин statistical-analyst для Claude Code проверяет гипотезы и результаты A/B-тестов, рассчитывает размер выборки и доверительные интервалы. Оценивает экспериментальные данные. ★ 30 251звёзд репо

Из того же набора26

Весь набор →
data-analysis Скилл data-analysis исследует набор данных через проверяемые гипотезы и собирает отчёт с подтверждёнными числами. Запускайте его для открытого анализа, а не для поиска причины уже известной ошибки. CX Codex +1 ★ 185звёзд репо red-team Скилл red-team находит слабые места в фильтрах контента, классификаторах и API методом состязательного тестирования — генерирует атакующие вводы и собирает каталог отказов. CX Codex +1 ★ 185звёзд репо prompt-optimize Скилл prompt-optimize для Claude Code итеративно улучшает готовый промпт по команде оценки и сохраняет только правки, повышающие метрику. CX Codex +1 ★ 185звёзд репо anomaly-investigation Скилл anomaly-investigation ищет причину уже замеченного скачка, падения или выброса в данных. Он проверяет версии по очереди и фиксирует подтверждение в журнале расследования. CX Codex +1 ★ 185звёзд репо claim-verify Скилл claim-verify проверяет числовые утверждения из черновика отчёта по исходным данным. Находит расхождения, тестирует выводы на выбросы и уточняет формулировки перед публикацией. CX Codex +1 ★ 185звёзд репо literature-survey Скилл literature-survey для Claude Code строит обзор исследований в виде матрицы источников и утверждений. Он подключается для поиска согласий, противоречий и пробелов по вопросу. CX Codex +1 ★ 185звёзд репо optimize-loop Скилл optimize-loop гоняет цикл правок с жёстким гейтом корректности и метрикой, которую надо снизить: рефакторинг модуля под зелёные тесты или ускорение SQL-запроса с тем же набором строк. CX Codex +1 ★ 185звёзд репо research-proposal Скилл research-proposal для Claude Code итеративно проверяет черновик научной заявки по публикациям и дорабатывает его по оценке судей до проходного балла. CX Codex +1 ★ 185звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой