# experimentation-analytics

Скилл experimentation-analytics для Claude Code, Codex, Cursor, Copilot и Gemini CLI — помогает разобрать панель результатов A/B-теста перед решением «катить или откатить».

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 283 установки · ★ 1107 у репозитория
- Автор: rampstackco
- Лицензия: MIT · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/rampstackco/claude-skills/tree/HEAD/skills/experimentation-analytics/SKILL.md
- Обновлён: 2026-10-19
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/experimentation-analytics

## Что делает

Скилл учит читать панель результатов эксперимента так, чтобы не принять ошибочное решение о выкатке. Охватывает доверительные интервалы, p-value, множественные проверки, sequential testing, CUPED, метрики на основе отношений, сетевые эффекты и сверку цифр между экспериментальной платформой и BI-дашбордом.

Основная идея — ширина доверительного интервала важнее точечной оценки. Если нижняя граница CI отрицательна, а верхняя даёт значимый плюс, данных ещё недостаточно для решения. Скилл разбирает каждый из типичных сбоев: недостаточная мощность теста даёт широкие CI, пиппинг (peeking) занижает p-value, ratio-метрика без delta-method даёт завышенный lift. Гетерогенные эффекты по сегментам рассматриваются только для заранее зарегистрированных сегментов — постфактумный слайсинг скилл прямо называет опасным.

Скилл — парный к `experiment-design`: тот нужен до запуска теста, этот — когда результаты уже на экране. Платформы Statsig, PostHog, Optimizely, GrowthBook, Eppo, Amplitude и Kameleoon упомянуты как источники данных, которые скилл помогает интерпретировать.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add rampstackco/claude-skills --skill experimentation-analytics -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/experimentation-analytics/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/experimentation-analytics/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add rampstackco/claude-skills --skill experimentation-analytics -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/experimentation-analytics/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add rampstackco/claude-skills --skill experimentation-analytics -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/experimentation-analytics/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install rampstackco/claude-skills skills/experimentation-analytics
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/experimentation-analytics/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add rampstackco/claude-skills --skill experimentation-analytics -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/rampstackco/claude-skills --path skills/experimentation-analytics
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/experimentation-analytics/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add rampstackco/claude-skills --skill experimentation-analytics -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/rampstackco/claude-skills/tree/HEAD/skills/experimentation-analytics/SKILL.md

## Когда брать
- разобрать, почему p-value ниже порога, но CI всё равно включает ноль
- понять, что означает ширина доверительного интервала для решения о выкатке
- проверить, нет ли ошибки peeking в серии досрочных замеров
- сверить lift на экспериментальной платформе с числом на BI-дашборде
- оценить, применялась ли CUPED и как она влияет на трактовку результата

## Примеры запросов агенту
- Разбери панель результатов этого A/B-теста и скажи, можно ли катить фичу
- Доверительный интервал у нас [-1%, +5%] — что это значит для решения?
- Цифра конверсии в эксперименте 3.2%, а в Amplitude 2.8% — почему расхождение?

## Похожие
- [growth-experimentation](https://affpapa.org/nevibecode/skills/growth-experimentation.md) — скилл · 423 установки
- [content-experimentation-best-practices](https://affpapa.org/nevibecode/skills/content-experimentation-best-practices.md) — скилл · 4100 установок
- [experimentation-and-ab-testing](https://affpapa.org/nevibecode/skills/experimentation-and-ab-testing.md) — скилл · 1200 установок
- [ad-test-designer](https://affpapa.org/nevibecode/skills/ad-test-designer.md) — скилл · 1100 установок
- [ab-test-analysis](https://affpapa.org/nevibecode/agents/ab-test-analysis.md) — субагент · ★ 26718 у репозитория
- [analyze-test](https://affpapa.org/nevibecode/commands/analyze-test.md) — команда · ★ 28211 у репозитория

Из того же набора: [rampstackco/claude-skills](https://affpapa.org/nevibecode/by/rampstackco/claude-skills.md) — 102 карточки

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
