К основному содержанию
команда CX Codex

analyze-test — команда для Claude Code: анализ A/B-тестов

Команда analyze-test анализирует результаты A/B-тестов: проверяет статистическую значимость, валидирует объём выборки и выдаёт рекомендацию — запустить, продлить или остановить эксперимент.

MIT ★ 28 211 обновлён 2026-10-16

Установить в Claude Code · Через маркетплейс плагинов Все способы и платформы ↓
/plugin marketplace add phuryn/pm-skills
/plugin install pm-data-analytics@pm-skills
Открыть на GitHub

Что делает analyze-test

Команда принимает данные в любом формате: статистика конверсии с размерами групп, CSV с сырыми событиями, скриншот из платформы тестирования (Optimizely, LaunchDarkly) или описание результатов. Сначала проверяет корректность дизайна теста — достаточный ли размер выборки, прошёл ли тест достаточно долго, была ли рандомизация чистой, были ли внешние факторы. Затем применяет скилл ab-test-analysis: рассчитывает p-value и доверительные интервалы, считает абсолютный и относительный лифт, оценивает практическую значимость эффекта, проверяет дифференцированный эффект по сегментам.

Вывод — таблица с результатами, статистический анализ (p-value, доверительный интервал, минимальный обнаруживаемый эффект), проверка мощности теста и финальная рекомендация: SHIP, EXTEND или STOP. Для каждого варианта — оценка ожидаемого бизнес-эффекта при масштабировании. Команда также указывает на подводные камни: новизну эффекта, проблемы с валидностью теста, дифференцированные результаты по сегментам.

Какие задачи решает

  • определить, статистически значим ли результат A/B-теста
  • проверить достаточность размера выборки и длительности теста
  • оценить практическую значимость лифта для бизнеса
  • получить рекомендацию: запустить фичу, продлить тест или остановить
  • спрогнозировать бизнес-эффект при масштабировании варианта

Примеры запросов агенту

  • /analyze-test Control: 4.2% конверсия (n=5000), Variant: 4.8% конверсия (n=5100)
  • /analyze-test [загружу CSV с результатами теста]
  • /analyze-test [скриншот из Optimizely с метриками обоих вариантов]

Как установить analyze-test

1Через маркетплейс плагинов

/plugin marketplace add phuryn/pm-skills
/plugin install pm-data-analytics@pm-skills

2Вручную: положить файлы

.claude/commands/analyze-test.md

Вызов — /analyze-test. Для всех проектов — ~/.claude/commands/

Вопросы об analyze-test

Как установить analyze-test в Claude Code?

Выполни /plugin marketplace add phuryn/pm-skills, затем /plugin install pm-data-analytics@pm-skills и подключи файл .claude/commands/analyze-test.md.

Что делает analyze-test?

Анализирует результаты A/B-теста: считает p-value, доверительные интервалы, проверяет мощность теста, оценивает практическую значимость лифта и выдаёт рекомендацию — запустить, продлить или остановить эксперимент.

В каком формате подавать результаты теста?

Подходит любой: строка со статистикой (конверсия и размер группы), CSV с сырыми данными, скриншот из платформы тестирования или текстовое описание результатов.

Исходный текст

analyze-test.md · MIT
---
description: Analyze A/B test results — statistical significance, sample size validation, and ship/extend/stop recommendations
argument-hint: "<test results as data, screenshot, or description>"
---

# /analyze-test -- A/B Test Analysis

Evaluate experiment results with statistical rigor and translate findings into a clear product decision: ship, extend, or stop.

## Invocation

```
/analyze-test Control: 4.2% conversion (n=5000), Variant: 4.8% conversion (n=5100)
/analyze-test [upload a CSV of test results]
/analyze-test [screenshot from your experimentation platform]
```

## Workflow

### Step 1: Accept Test Data

Accept in any format:
- Summary statistics (conversion rates, sample sizes per variant)
- Raw event data (CSV with user_id, variant, converted, timestamp)
- Screenshot from an experimentation platform (Optimizely, LaunchDarkly, etc.)
- Description of the experiment and results

### Step 2: Validate Test Design

Before analyzing results, check:
- Was sample size sufficient? (run a power analysis)
- Was the test run long enough? (capture weekly cycles, minimum 1-2 business cycles)
- Was randomization clean? (check for sample ratio mismatch)
- Were there any external factors during the test period?

Flag issues if found — results from a flawed test can be misleading.

### Step 3: Analyze Results

Apply the **ab-test-analysis** skill:

- **Statistical significance**: Calculate p-value and confidence interval
- **Effect size**: Absolute and relative difference between variants
- **Practical significance**: Is the effect large enough to matter for the business?
- **Confidence interval**: What's the range of plausible true effects?
- **Segment analysis**: If data allows, check for differential effects by user segment

### Step 4: Generate Analysis

```
## A/B Test Analysis: [Test Name]

**Date**: [today]
**Test duration**: [X days/weeks]
**Total sample**: [N users]

### Results Summary
| Variant | Sample | Metric | Rate | 95% CI |
|---------|--------|--------|------|--------|
| Control | [n] | [metric] | [X%] | [X% - Y%] |
| Variant | [n] | [metric] | [X%] | [X% - Y%] |

### Statistical Analysis
- **Relative lift**: [+X%] ([CI range])
- **P-value**: [X]
- **Statistically significant**: [Yes/No] at 95% confidence
- **Minimum detectable effect**: [X%] (what the test was powered to detect)

### Sample Size Check
- **Required sample**: [N] per variant (for [X%] MDE at 80% power)
- **Actual sample**: [N] per variant
- **Verdict**: [Sufficiently powered / Underpowered / Overpowered]

### Decision

**Recommendation: [SHIP / EXTEND / STOP]**

[Clear explanation of why, considering both statistical and practical significance]

### Business Impact Estimate
If shipped to 100% of users:
- **Expected impact**: [metric change per month/quarter]
- **Revenue impact**: [if applicable]
- **Confidence**: [How certain we are about this estimate]

### Caveats
- [Any concerns about the test validity]
- [Segments where results differ]
- [Novelty effects or other biases to consider]

### Follow-Up
- [What to test next based on learnings]
- [Monitoring plan if shipping the variant]
```

### Step 5: Offer Next Steps

- "Want me to **design a follow-up experiment** based on these findings?"
- "Should I **run the analysis for specific segments**?"
- "Want me to **generate the SQL** to monitor this metric post-launch?"

## Notes

- Statistical significance ≠ practical significance — a 0.1% lift can be significant with enough data but not worth shipping
- Always check for sample ratio mismatch before trusting results
- Novelty effects can inflate short-term results — recommend monitoring for 2-4 weeks post-launch
- If the test is underpowered, the right answer is usually "extend" not "no effect"
- For revenue metrics, use confidence intervals to estimate best-case and worst-case business impact
- If data is provided as CSV, generate the full analysis using Python with scipy.stats

© Paweł Huryn · MIT · phuryn/pm-skills

Похожие слэш-команды

Все слэш-команды по теме «Тесты и QA» →
experimentation-analytics rampstackco Скилл experimentation-analytics для Claude Code, Codex, Cursor, Copilot и Gemini CLI — помогает разобрать панель результатов A/B-теста перед решением «катить или откатить». CX Codex +1 283установок ad-test-designer aaron-he-zhu Скилл ad-test-designer проектирует A/B-тесты креативов и лендингов, а затем анализирует результаты по собственным данным. Он также помогает спланировать тест на инкрементальность. CX Codex +1 1 100установок ab-test-analysis VoltAgent Community Субагент ab-test-analysis для анализа результатов A/B-тестов: интерпретирует p-value, считает доверительные интервалы и помогает решить, запускать ли изменение в продакшен. CX Codex ★ 26 718звёзд репо ab-test-setup OpenClaudia Скилл ab-test-setup для Claude Code помогает спроектировать A/B-тест, рассчитать выборку и разобрать результаты. Запускается на запросы об эксперименте, значимости и конверсии. CX Codex +1 435установок ads-test AgriciDaniel Скилл ads-test для Claude Code, Codex, Cursor и других платформ: помогает спроектировать и разобрать рекламный эксперимент — от гипотезы до решения. Проходит все шаги: единица рандомизации, расчёт выборки, гарды, анализ результатов. CX Codex +1 4 000установок growth-experimentation RefoundAI Скилл growth-experimentation помогает выстроить поток экспериментов роста: приоритизация по ICE и RICE, быстрые проверки гипотез, обмен результатами внутри команды. CX Codex +1 423установок

Из того же набора120

Весь набор →
pre-mortem Команда pre-mortem проверяет PRD, план запуска или фичу до релиза: ищет риски, классифицирует их и предлагает меры mitigation. CX Codex +1 ★ 28 211звёзд репо stakeholder-map Команда stakeholder-map для Claude Code строит карту заинтересованных сторон по сетке «Влияние × Интерес» и генерирует план коммуникаций. План определяет канал, частоту и содержание сообщений. CX Codex +1 ★ 28 211звёзд репо battlecard Команда battlecard генерирует одностраничную карточку сравнения продукта с конкурентом для сейлз-команды. Пригодится перед звонком клиенту или при вытеснении конкурирующего сервиса. CX Codex +1 ★ 28 211звёзд репо write-stories Команда write-stories разбивает описание функции или PRD на элементы бэклога с критериями приёмки. Выберите формат: user stories, job stories или WWA. CX Codex +1 ★ 28 211звёзд репо north-star Помогает сформулировать North Star Metric продукта, подобрать к ней входные метрики и отсеять обманчивые показатели. CX Codex +1 ★ 28 211звёзд репо growth-strategy Команда growth-strategy для Claude Code собирает стратегию роста из growth loops и GTM-механик. Формирует план экспериментов при остановке роста продукта. CX Codex +1 ★ 28 211звёзд репо strategy Команда /strategy строит полную стратегию продукта через Canvas из 9 секций — от видения до защиты рынка. Работает с описанием, документами и существующими стратегиями. CX Codex +1 ★ 28 211звёзд репо research-users Команда research-users синтезирует сырые данные исследований в персоны, поведенческие сегменты и карту пути клиента. Пригодится продакт-менеджерам для подготовки отчётов по опросам и интервью. CX Codex +1 ★ 28 211звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой