# ab-test-analysis

Субагент для анализа результатов A/B-тестов: интерпретирует p-value, считает доверительные интервалы и помогает решить, запускать ли изменение в продакшен.

- субагент · `type=agent` · Claude Code · ★ 26093
- Автор: VoltAgent Community
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/VoltAgent/awesome-claude-code-subagents/tree/HEAD/categories/10-research-analysis/ab-test-analysis.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/agents/ab-test-analysis

## Что делает

Субагент читает данные эксперимента, проверяет статистическую значимость (p < 0.05), оценивает размер эффекта и выдаёт рекомендацию: запускать, откатывать или собирать больше данных. Различает статистическую значимость и практическую: тест может показать p = 0.03, но прирост в 0.01% не стоит риска.

Внутри — правила интерпретации p-value, формулы для доверительных интервалов, проверка guardrail-метрик и разбор частых ошибок (peeking, множественное сравнение, парадокс Симпсона). Субагент использует инструменты Read, Grep, Glob, WebFetch и WebSearch для извлечения данных из файлов и логов. Без внешних библиотек для статистики работа ограничена ручным расчётом или готовыми результатами из систем аналитики.

Ответ структурирован: таблица (контроль vs. вариант, конверсия, прирост, CI, p-value), вердикт по статзначимости, интерпретация размера эффекта и финальная рекомендация.

## Установка

### Claude Code (родная платформа)

1. **Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add VoltAgent/awesome-claude-code-subagents
```
В чате агента (не в терминале):
```text
/plugin install voltagent-research@voltagent-subagents
```

2. **Вручную: положить файлы**
- Файл: `.claude/agents/ab-test-analysis.md` — Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

### Codex

**Вручную: положить файлы**
- Файл: `.codex/agents/ab-test-analysis.toml` — Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/agents/ab-test-analysis.md` — Cursor понимает и .claude/agents/

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/VoltAgent/awesome-claude-code-subagents/tree/HEAD/categories/10-research-analysis/ab-test-analysis.md

## Когда брать
- Интерпретировать p-value и доверительный интервал A/B-теста
- Проверить, что guardrail-метрики не упали
- Решить, запускать ли изменение в продакшен по результатам эксперимента
- Распознать частые ошибки анализа: peeking, множественное сравнение, парадокс Симпсона

## Примеры запросов агенту
- Проанализируй A/B-тест из `results.csv`: посчитай прирост и скажи, можно ли запускать
- Интерпретируй p-value 0.03 и объясни, значим ли эффект практически
- Проверь результаты эксперимента: есть ли sample ratio mismatch и не пострадали ли guardrail-метрики

## Похожие
- [ai-engineer](https://affpapa.org/nevibecode/agents/ai-engineer.md) — субагент · 7687 установок
- [business-analyst](https://affpapa.org/nevibecode/agents/business-analyst.md) — субагент · 3855 установок
- [sql-pro](https://affpapa.org/nevibecode/agents/sql-pro.md) — субагент · 3602 установки

Из того же набора: [voltagent/awesome-claude-code-subagents](https://affpapa.org/nevibecode/by/voltagent/awesome-claude-code-subagents.md) — 171 карточка

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md