analyze-test — команда для Claude Code: анализ A/B-тестов
Команда analyze-test анализирует результаты A/B-тестов: проверяет статистическую значимость, валидирует объём выборки и выдаёт рекомендацию — запустить, продлить или остановить эксперимент.
MIT ★ 28 211 обновлён 2026-10-16
/plugin marketplace add phuryn/pm-skills
/plugin install pm-data-analytics@pm-skillsЧто делает analyze-test
Команда принимает данные в любом формате: статистика конверсии с размерами групп, CSV с сырыми событиями, скриншот из платформы тестирования (Optimizely, LaunchDarkly) или описание результатов. Сначала проверяет корректность дизайна теста — достаточный ли размер выборки, прошёл ли тест достаточно долго, была ли рандомизация чистой, были ли внешние факторы. Затем применяет скилл ab-test-analysis: рассчитывает p-value и доверительные интервалы, считает абсолютный и относительный лифт, оценивает практическую значимость эффекта, проверяет дифференцированный эффект по сегментам.
Вывод — таблица с результатами, статистический анализ (p-value, доверительный интервал, минимальный обнаруживаемый эффект), проверка мощности теста и финальная рекомендация: SHIP, EXTEND или STOP. Для каждого варианта — оценка ожидаемого бизнес-эффекта при масштабировании. Команда также указывает на подводные камни: новизну эффекта, проблемы с валидностью теста, дифференцированные результаты по сегментам.
Какие задачи решает
- определить, статистически значим ли результат A/B-теста
- проверить достаточность размера выборки и длительности теста
- оценить практическую значимость лифта для бизнеса
- получить рекомендацию: запустить фичу, продлить тест или остановить
- спрогнозировать бизнес-эффект при масштабировании варианта
Примеры запросов агенту
- /analyze-test Control: 4.2% конверсия (n=5000), Variant: 4.8% конверсия (n=5100)
- /analyze-test [загружу CSV с результатами теста]
- /analyze-test [скриншот из Optimizely с метриками обоих вариантов]
Как установить analyze-test
1Через маркетплейс плагинов
/plugin marketplace add phuryn/pm-skills/plugin install pm-data-analytics@pm-skills2Вручную: положить файлы
.claude/commands/analyze-test.mdВызов — /analyze-test. Для всех проектов — ~/.claude/commands/
Вручную: положить файлы
~/.codex/prompts/analyze-test.mdВызов — /prompts:analyze-test. В Codex этот формат помечен устаревшим, замена — скиллы
Вручную: положить файлы
.github/prompts/analyze-test.prompt.mdВручную: положить файлы
.gemini/commands/analyze-test.tomlGemini хранит команды в TOML: текст запроса — в поле prompt
Вопросы об analyze-test
Как установить analyze-test в Claude Code?
Выполни /plugin marketplace add phuryn/pm-skills, затем /plugin install pm-data-analytics@pm-skills и подключи файл .claude/commands/analyze-test.md.
Что делает analyze-test?
Анализирует результаты A/B-теста: считает p-value, доверительные интервалы, проверяет мощность теста, оценивает практическую значимость лифта и выдаёт рекомендацию — запустить, продлить или остановить эксперимент.
В каком формате подавать результаты теста?
Подходит любой: строка со статистикой (конверсия и размер группы), CSV с сырыми данными, скриншот из платформы тестирования или текстовое описание результатов.
Исходный текст
analyze-test.md · MIT
--- description: Analyze A/B test results — statistical significance, sample size validation, and ship/extend/stop recommendations argument-hint: "<test results as data, screenshot, or description>" --- # /analyze-test -- A/B Test Analysis Evaluate experiment results with statistical rigor and translate findings into a clear product decision: ship, extend, or stop. ## Invocation ``` /analyze-test Control: 4.2% conversion (n=5000), Variant: 4.8% conversion (n=5100) /analyze-test [upload a CSV of test results] /analyze-test [screenshot from your experimentation platform] ``` ## Workflow ### Step 1: Accept Test Data Accept in any format: - Summary statistics (conversion rates, sample sizes per variant) - Raw event data (CSV with user_id, variant, converted, timestamp) - Screenshot from an experimentation platform (Optimizely, LaunchDarkly, etc.) - Description of the experiment and results ### Step 2: Validate Test Design Before analyzing results, check: - Was sample size sufficient? (run a power analysis) - Was the test run long enough? (capture weekly cycles, minimum 1-2 business cycles) - Was randomization clean? (check for sample ratio mismatch) - Were there any external factors during the test period? Flag issues if found — results from a flawed test can be misleading. ### Step 3: Analyze Results Apply the **ab-test-analysis** skill: - **Statistical significance**: Calculate p-value and confidence interval - **Effect size**: Absolute and relative difference between variants - **Practical significance**: Is the effect large enough to matter for the business? - **Confidence interval**: What's the range of plausible true effects? - **Segment analysis**: If data allows, check for differential effects by user segment ### Step 4: Generate Analysis ``` ## A/B Test Analysis: [Test Name] **Date**: [today] **Test duration**: [X days/weeks] **Total sample**: [N users] ### Results Summary | Variant | Sample | Metric | Rate | 95% CI | |---------|--------|--------|------|--------| | Control | [n] | [metric] | [X%] | [X% - Y%] | | Variant | [n] | [metric] | [X%] | [X% - Y%] | ### Statistical Analysis - **Relative lift**: [+X%] ([CI range]) - **P-value**: [X] - **Statistically significant**: [Yes/No] at 95% confidence - **Minimum detectable effect**: [X%] (what the test was powered to detect) ### Sample Size Check - **Required sample**: [N] per variant (for [X%] MDE at 80% power) - **Actual sample**: [N] per variant - **Verdict**: [Sufficiently powered / Underpowered / Overpowered] ### Decision **Recommendation: [SHIP / EXTEND / STOP]** [Clear explanation of why, considering both statistical and practical significance] ### Business Impact Estimate If shipped to 100% of users: - **Expected impact**: [metric change per month/quarter] - **Revenue impact**: [if applicable] - **Confidence**: [How certain we are about this estimate] ### Caveats - [Any concerns about the test validity] - [Segments where results differ] - [Novelty effects or other biases to consider] ### Follow-Up - [What to test next based on learnings] - [Monitoring plan if shipping the variant] ``` ### Step 5: Offer Next Steps - "Want me to **design a follow-up experiment** based on these findings?" - "Should I **run the analysis for specific segments**?" - "Want me to **generate the SQL** to monitor this metric post-launch?" ## Notes - Statistical significance ≠ practical significance — a 0.1% lift can be significant with enough data but not worth shipping - Always check for sample ratio mismatch before trusting results - Novelty effects can inflate short-term results — recommend monitoring for 2-4 weeks post-launch - If the test is underpowered, the right answer is usually "extend" not "no effect" - For revenue metrics, use confidence intervals to estimate best-case and worst-case business impact - If data is provided as CSV, generate the full analysis using Python with scipy.stats
© Paweł Huryn · MIT · phuryn/pm-skills