К основному содержанию
субагент CX Codex

ab-test-analysis · voltagent/awesome-codex-subagents — субагент для Codex: что делает и как установить

Субагент ab-test-analysis оценивает результаты A/B-тестирования, проверяет статистическую значимость и метрики безопасности для решений о запуске фичи.

MIT ★ 6 505 обновлён 2026-10-05

Установить в Codex · Вручную: положить файлы Все способы и платформы ↓
.codex/agents/ab-test-analysis.toml
Открыть на GitHub

Что делает ab-test-analysis

Субагент разбирает итоги экспериментов без опоры на один лишь p-value. Он проверяет дизайн теста: размер выборки, минимальный детектируемый эффект, совпадение долей выборки (sample ratio mismatch) и отсутствие преждевременного подглядывания.

В расчёт идут доверительные интервалы, практическая значимость изменений и метрики безопасности (guardrails). Субагент отслеживает ошибки вроде парадокса Симпсона или множественных сравнений. Победа не засчитывается, если первичный выигрыш ломает защитные метрики.

Итогом работы становится вердикт: катить (ship), отклонить (no-ship), доработать (iterate) или продлить эксперимент при нехватке мощности.

Какие задачи решает

  • Проверить целостность A/B-теста и отсутствие sample ratio mismatch
  • Оценить p-value, доверительные интервалы и размер эффекта
  • Проконтролировать защитные метрики перед выкаткой в прод
  • Сформировать обоснованное решение: ship, no-ship или iterate

Примеры запросов агенту

  • Проанализируй результаты теста новой корзины из таблицы с контролем и вариантом B
  • Проверь, нет ли sample ratio mismatch и подглядывания в нашем A/B-эксперименте
  • Оцени p-value и метрики безопасности, после чего выдай вердикт ship или no-ship

Как установить ab-test-analysis

Вручную: положить файлы

.codex/agents/ab-test-analysis.toml

Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы об ab-test-analysis

Как установить ab-test-analysis в Codex?

Сохраните конфигурацию субагента в файл .codex/agents/ab-test-analysis.toml.

Что делает субагент ab-test-analysis?

Он анализирует данные экспериментов, выявляет статистические ловушки и выдаёт решение о выкатке изменений с учётом защитных метрик.

Почему субагент не одобряет релиз только по низкому p-value?

Низкий p-value подтверждает статистическую значимость, но не гарантирует практическую пользу или сохранность защитных метрик проекта.

Исходный текст

ab-test-analysis.toml · MIT
# ab-test-analysis

Use when a task needs analysis of A/B test results, interpretation of p-values and confidence intervals, statistical significance checks, or a principled ship/no-ship decision.

Own A/B test analysis as a principled ship/no-ship decision, not a p-value lookup.

Separate statistical significance from practical significance, and catch common analysis traps before recommending action.

Working mode:
1. Establish the experiment design: primary metric, guardrails, pre-specified minimum detectable effect, and duration.
2. Validate test integrity (sample ratio match, sufficient power, no peeking) before trusting any result.
3. Quantify the effect: observed lift, confidence interval, p-value, and whether the result is practically meaningful.
4. Issue a ship / no-ship / iterate / inconclusive verdict with explicit rationale.

Focus on:
- p-value meaning: probability of data this extreme under the null, not the probability the variant is better
- effect size and confidence interval as the decision drivers, not significance alone
- guardrail metrics: never ship a primary win that significantly harms a guardrail
- pre-specified segments only; flag post-hoc segmentation as p-hacking
- common errors: peeking, multiple comparisons, Simpson's paradox, survivorship bias
- frequentist vs bayesian framing and which the tooling actually used
- power and sample adequacy when results are trending but underpowered

Quality checks:
- confirm the verdict aligns with primary metric, effect size, and guardrail status together
- verify no sample ratio mismatch invalidates the test
- check the test ran to its predetermined sample size and duration
- ensure each segment claim was pre-planned, not mined after the fact
- distinguish "no effect detected" from "underpowered, extend the test"

Return:
- results summary table (control vs treatment: n, conversion rate, lift, CI, p-value)
- statistical significance verdict and effect-size interpretation
- guardrail metric status
- ship / no-ship / iterate / inconclusive recommendation with rationale
- next step (ship plan, extension, or learning to capture)

Do not declare a win on statistical significance alone when practical significance or guardrails are unmet unless explicitly requested by the parent agent.

© VoltAgent · MIT · VoltAgent/awesome-codex-subagents

Похожие субагенты

Все субагенты по теме «Данные и базы» →

Сначала — ab-test-analysis от других авторов.

ab-test-analysis VoltAgent Community Субагент ab-test-analysis для анализа результатов A/B-тестов: интерпретирует p-value, считает доверительные интервалы и помогает решить, запускать ли изменение в продакшен. CX Codex ★ 26 718звёзд репо ad-test-designer aaron-he-zhu Скилл ad-test-designer проектирует A/B-тесты креативов и лендингов, а затем анализирует результаты по собственным данным. Он также помогает спланировать тест на инкрементальность. CX Codex +1 1 100установок analyze-test Paweł Huryn Команда analyze-test анализирует результаты A/B-тестов: проверяет статистическую значимость, валидирует объём выборки и выдаёт рекомендацию — запустить, продлить или остановить эксперимент. CX Codex +1 ★ 28 211звёзд репо ab-test-setup OpenClaudia Скилл ab-test-setup для Claude Code помогает спроектировать A/B-тест, рассчитать выборку и разобрать результаты. Запускается на запросы об эксперименте, значимости и конверсии. CX Codex +1 435установок power-analysis gaasher Скилл power-analysis для Claude Code рассчитывает размер выборки для двухгруппового сравнения и помогает подготовить пререгистрацию. Включается при планировании A/B-теста, простого RCT или оценки двух моделей до сбора данных. CX Codex +1 ★ 185звёзд репо ads-test AgriciDaniel Скилл ads-test для Claude Code, Codex, Cursor и других платформ: помогает спроектировать и разобрать рекламный эксперимент — от гипотезы до решения. Проходит все шаги: единица рандомизации, расчёт выборки, гарды, анализ результатов. CX Codex +1 4 000установок experimentation-analytics rampstackco Скилл experimentation-analytics для Claude Code, Codex, Cursor, Copilot и Gemini CLI — помогает разобрать панель результатов A/B-теста перед решением «катить или откатить». CX Codex +1 283установок

Из того же набора176

Весь набор →
docs-researcher Субагент docs-researcher для проверки API, версионных отличий и опций фреймворков по официальной документации. CX Codex ★ 6 505звёзд репо data-researcher Субагент data-researcher собирает доказательную базу по метрикам и пайплайнам данных для количественных решений. Без свалки сырых ссылок. CX Codex ★ 6 505звёзд репо competitive-analyst Субагент competitive-analyst для Codex сравнивает продукты, библиотеки и способы реализации по критериям задачи. Помогает выбрать вариант с учётом внедрения и дальнейшей поддержки. CX Codex ★ 6 505звёзд репо cohort-analysis Субагент cohort-analysis для диагностики здоровья продукта через анализ удержания и поведения пользовательских групп. Помогает отделить проблемы product-market-fit от проблем роста и найти ключевые метрики активации. CX Codex ★ 6 505звёзд репо workflow-orchestrator Субагент workflow-orchestrator раскладывает сложную задачу в этапы, распределяет работу между локальным выполнением и другими субагентами, а затем задаёт проверки и условия интеграции. CX Codex ★ 6 505звёзд репо task-distributor Субагент task-distributor для Codex разбивает большие задачи на подзадачи с чёткими границами, зависимостями и назначениями. Распределяет работу между агентами и участниками без дублирования. CX Codex ★ 6 505звёзд репо performance-monitor Субагент performance-monitor разбирает скачки метрик сборки и рантайма, отсекает шум от регрессий и находит подсистему со сбоем до начала глубокой оптимизации. CX Codex ★ 6 505звёзд репо multi-agent-coordinator Субагент multi-agent-coordinator для Codex раскладывает задачу на работу основного агента и параллельные поручения, задаёт границы ответственности и планирует сбор результатов. Координирует задачи с несколькими независимыми частями. CX Codex ★ 6 505звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой