К основному содержанию
скилл CX Codex

product-analytics · yonatangross — скилл для Claude Code: что делает и как установить

Скилл product-analytics разбирает A/B-тесты, удержание когорт и воронки, чтобы принять решение по эксперименту или найти провал конверсии.

MIT 120 установок ★ 305 обновлён 2026-11-14

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add yonatangross/orchestkit --skill product-analytics -a claude-code
Открыть на GitHub

Что делает product-analytics

Скилл превращает продуктовые данные в решение SHIP, EXTEND или KILL. Он помогает оценить различия между вариантами A/B-теста, посчитать lift, p-value и доверительный интервал, подобрать MDE и размер выборки. Для когорт строит запросы удержания по дням, а для воронок показывает этапы и самое крупное падение.

Внутри есть правила rules/ab-test-evaluation.md, rules/cohort-retention.md и rules/funnel-analysis.md, а также справочник references/stats-cheat-sheet.md. Скилл использует Read, Glob, Grep, WebFetch и WebSearch. Он отдельно разбирает peeking, multiple comparisons, SRM и парадокс Симпсона. При SRM, когда размеры групп расходятся с ожидаемым split больше чем на 1%, эксперимент нельзя нормально анализировать: сначала нужно исправить распределение.

Какие задачи решает

  • сравнить варианты A/B-теста и выбрать решение по результату
  • рассчитать удержание когорт на нужный день
  • найти самый большой провал в продуктовой воронке
  • проверить p-value, MDE и доверительный интервал
  • выявить SRM и другие ошибки эксперимента

Примеры запросов агенту

  • Оцени результаты A/B-теста для новой кнопки: сравни control и treatment, посчитай lift и p-value и предложи SHIP, EXTEND или KILL.
  • Составь SQL-запрос для day-7 retention по когортам из таблицы user_activity.
  • Разбери воронку регистрации, найди самый большой drop-off и предложи порядок проверки этапов.

Как установить product-analytics

1Через Skills CLI (Vercel)

npx skills add yonatangross/orchestkit --skill product-analytics -a claude-code

2Вручную: положить файлы

~/.claude/skills/product-analytics/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/product-analytics/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о product-analytics

Как установить product-analytics в Claude Code?

Выполните npx skills add yonatangross/orchestkit --skill product-analytics -a claude-code. Файл скилла появится по пути ~/.claude/skills/product-analytics/SKILL.md.

Что делает product-analytics?

Он помогает анализировать A/B-тесты, когортное удержание, продуктовые воронки и статистическую значимость. Результат оформляется как решение SHIP, EXTEND или KILL с опорой на метрики.

Что произойдёт, если в эксперименте обнаружен SRM?

Результат считается INVALID: сначала исправьте ошибку распределения вариантов и перезапустите эксперимент. Порог из правил — расхождение размеров групп больше чем на 1%.

Исходный текст

SKILL.md · MIT
---
name: product-analytics
license: MIT
compatibility: "Claude Code 2.1.277+."
description: "A/B test evaluation, cohort retention, funnels and significance. Use when analyzing experiments, feature adoption or conversion drop-offs."
user-invocable: false
disable-model-invocation: false
metadata:
  owner-agent: "product-strategist"
  category: document-asset-creation
  version: "1.0.0"
  author: "OrchestKit"
  complexity: "medium"
  tags: "ab-test, cohort, retention, funnel, conversion, analytics, experiment, statistical-significance"
allowed-tools: "Read Glob Grep WebFetch WebSearch"
---

# Product Analytics

Frameworks for turning raw product data into ship/extend/kill decisions. Covers A/B testing, cohort retention, funnel analysis, and the statistical foundations needed to make those decisions with confidence.

## Quick Reference

| Category | Rules | Impact | When to Use |
|----------|-------|--------|-------------|
| [A/B Test Evaluation](#ab-test-evaluation) | 1 | HIGH | Comparing variants, measuring significance, shipping decisions |
| [Cohort Retention](#cohort-retention) | 1 | HIGH | Feature adoption curves, day-N retention, engagement scoring |
| [Funnel Analysis](#funnel-analysis) | 1 | HIGH | Drop-off diagnosis, conversion optimization, stage mapping |
| [Statistical Foundations](#statistical-foundations) | 1 | HIGH | p-value interpretation, sample sizing, confidence intervals |

**Total: 4 rules across 4 categories**

## A/B Test Evaluation

Load `rules/ab-test-evaluation.md` for the full framework. Quick pattern:

```markdown
## Experiment: [Name]

Hypothesis: If we [change], then [primary metric] will [direction] by [amount]
  because [evidence or reasoning].

Sample size: [N per variant] — calculated for MDE=[X%], power=80%, alpha=0.05
Duration: [Minimum weeks] — never stop early (peeking bias)

Results:
  Control:   [metric value]  n=[count]
  Treatment: [metric value]  n=[count]
  Lift:      [+/- X%]        p=[value]  95% CI: [lower, upper]

Decision: SHIP / EXTEND / KILL
  Rationale: [One sentence grounded in numbers, not gut feel]
```

**Decision rules:**
- **SHIP** — p < 0.05, CI excludes zero, no guardrail regressions
- **EXTEND** — trending positive but underpowered (add runtime, not reanalysis)
- **KILL** — null result or guardrail degradation

See `rules/ab-test-evaluation.md` for sample size formulas, SRM checks, and pitfall list.

## Cohort Retention

Load `rules/cohort-retention.md` for full methodology. Quick pattern:

```sql
-- Day-N retention cohort query
SELECT
  DATE_TRUNC('week', first_seen)  AS cohort_week,
  COUNT(DISTINCT user_id)         AS cohort_size,
  COUNT(DISTINCT CASE
    WHEN activity_date = first_seen + INTERVAL '7 days'
    THEN user_id END) * 100.0
    / COUNT(DISTINCT user_id)     AS day_7_retention
FROM user_activity
GROUP BY 1
ORDER BY 1;
```

**Retention benchmarks (SaaS):**
- Day 1: 40–60% is healthy
- Day 7: 20–35% is healthy
- Day 30: 10–20% is healthy
- Flat curve after day 30 = product-market fit signal

See `rules/cohort-retention.md` for behavior-based cohorts, feature adoption curves, and engagement scoring.

## Funnel Analysis

Load `rules/funnel-analysis.md` for full methodology. Quick pattern:

```markdown
## Funnel: [Name] — [Date Range]

Stage 1: [Aware / Land]     → [N] users    (entry)
Stage 2: [Activate / Sign]  → [N] users    ([X]% from stage 1)
Stage 3: [Engage / Use]     → [N] users    ([X]% from stage 2)  ← biggest drop
Stage 4: [Convert / Pay]    → [N] users    ([X]% from stage 3)

Overall conversion: [X]%
Biggest drop-off:  Stage 2→3 ([X]% loss) — investigate first
```

**Optimization order:** Fix the largest drop-off first. A 5-point improvement at a high-volume step is worth more than a 20-point improvement at a low-volume step.

See `rules/funnel-analysis.md` for segmented funnels, micro-conversion tracking, and prioritization patterns.

## Statistical Foundations

Plain-English explanations of the stats every PM needs. Load `references/stats-cheat-sheet.md` for formulas and quick lookups.

**p-value in plain English:** The probability that you would see a result this extreme (or more extreme) if the change had zero effect. p=0.03 means a 3% chance you're looking at random noise. It does NOT mean "97% probability the change works."

**Confidence interval in plain English:** The range where the true effect probably lives. "Lift = +8%, 95% CI [+2%, +14%]" means you are fairly confident the real lift is somewhere between 2% and 14%. If the CI includes zero, you cannot claim a win.

**Minimum Detectable Effect (MDE):** The smallest lift you care about detecting. Setting MDE too small forces impractically large sample sizes. Anchor MDE to business value — if a 2% lift is not worth shipping, set MDE = 5%.

**Statistical vs practical significance:** A result can be statistically significant (p < 0.05) but practically meaningless (lift = 0.01%). Always check both. A 0.01% lift that costs 6 weeks of eng time is not a win.

## Common Pitfalls

1. **Peeking** — stopping an experiment early because results look good inflates false-positive rate. Commit to a runtime before launch.
2. **Multiple comparisons** — testing 10 metrics at p < 0.05 means ~1 false positive by chance. Apply Bonferroni correction or pre-register your primary metric.
3. **Sample Ratio Mismatch (SRM)** — if variant group sizes differ from expected split by > 1%, your experiment is broken. Fix before analyzing results.
4. **Novelty effect** — new features get inflated engagement in week 1. Run experiments long enough to see settled behavior (minimum 2 full business cycles).
5. **Simpson's paradox** — aggregate results can reverse when segmented. Always check results by key segments (device, plan tier, geography).

## Ship / Extend / Kill Framework

| Signal | Decision | Action |
|--------|----------|--------|
| p < 0.05, CI excludes zero, guardrails green | SHIP | Full rollout, update success metrics |
| Positive trend, underpowered (p = 0.10–0.15) | EXTEND | Add runtime, do not peek again |
| p > 0.15, flat or negative | KILL | Revert, document learnings, re-hypothesize |
| Guardrail regression, any p-value | KILL | Immediate revert regardless of primary metric |
| SRM detected | INVALID | Fix assignment bug, restart experiment |

## Related Skills

- `ork:product-frameworks` — OKRs, KPI trees, RICE prioritization, PRD templates
- `ork-extras:monitoring-observability` — Metric definition, alerting, and drift monitoring
- `ork:brainstorm` — Generate hypotheses and experiment ideas
- `ork:assess` — Evaluate product quality and risks

## References

- `rules/ab-test-evaluation.md` — Hypothesis, sample size, significance, decision matrix
- `rules/cohort-retention.md` — Cohort types, retention curves, SQL patterns
- `rules/funnel-analysis.md` — Stage mapping, drop-off identification, optimization
- `references/stats-cheat-sheet.md` — Formulas, test selection, power analysis

---

**Version:** 1.0.0 (March 2026)

© OrchestKit · MIT · yonatangross/orchestkit

Похожие скиллы

Все скиллы по теме «Данные и базы» →

Сначала — product-analytics от других авторов.

product-analytics Alireza Rezvani Скилл product-analytics помогает выбрать продуктовые метрики, собрать структуру дашборда и разобрать когорты, удержание и принятие функций. CX Codex +1 684установок product-analytics daffy0208 Скилл product-analytics по продуктовой аналитике: помогает выбрать North Star метрику, разложить воронку регистрации и когорты, разметить действия пользователя событиями. CX Codex +1 244установок product-analytics travisjneuman Скилл product-analytics проектирует схемы событий, воронок, когорт и A/B-тестов с учётом согласия пользователей для PostHog, Amplitude, Mixpanel и Segment. CX Codex +1 139установок product-analytics Paweł Huryn Скилл product-analytics для Claude Code настраивает аналитику поведения без аналитических cookies. Он подключается к задаче добавления Clarity или PostHog, записи сессий и тепловых карт. CX Codex +1 ★ 741звёзд репо instrument-product-analytics PostHog Скилл instrument-product-analytics для Claude Code добавляет события PostHog в код продукта. Запускается после реализации функции или проверки PR, а также настраивает SDK, если его ещё нет. CX Codex +1 912установок product-analytics.dataflow tt-a1i Промпт product-analytics.dataflow задаёт схему продуктовой аналитики: от событий веб- и мобильных клиентов до витрин, дашбордов и модели. Учитывает согласие на обработку и защищённое хранение идентификаторов. CX Codex GP ChatGPT ★ 98 599звёзд репо configuring-experiment-analytics PostHog Скилл configuring-experiment-analytics для Claude Code настраивает аналитику экспериментов PostHog. Он задаёт критерии включения пользователей в анализ, метрики и помогает читать результаты. CX Codex +1 425установок cro-methodology wondelai Скилл cro-methodology для Claude Code проверяет посадочные страницы и воронки по методологии CRE. Помогает находить барьеры покупок и формулировать гипотезы для A/B-тестов. CX Codex +1 6 600установок product-tool-stack RefoundAI Скилл product-tool-stack для Claude Code помогает выбрать и внедрить набор продуктовых инструментов. Он подключается к обсуждению продуктового стека, аналитики и автоматизации работы команды. CX Codex +1 380установок product-analyst ncklrs Скилл product-analyst для Claude Code помогает выбрать продуктовые метрики, разобрать воронку и спланировать эксперименты. Связывает события в продукте с решениями команды. CX Codex +1 207установок

Из того же набора86

Весь набор →
competitive-analysis Скилл competitive-analysis формирует анализ рынка по пяти силам Портера, SWOT-матрицы, профили конкурентов и карты позиционирования. Включается при оценке ниши или подготовке сейлз-батлкард. CX Codex +1 125установок visualize-plan Скилл visualize-plan показывает план изменений в виде схемы «до и после», карты рисков и порядка выполнения. Запускается при разборе плана или изменений в текущей ветке. CX Codex +1 124установок market-sizing Скилл market-sizing считает TAM, SAM и SOM двумя методами — top-down и bottom-up — и сверяет их. Запускается при подготовке слайдов для питча или оценке размера рынка. CX Codex +1 124установок ai-ui-generation Скилл ai-ui-generation для Claude Code и Codex задаёт правила генерации, аудита и встраивания интерфейсных компонентов из нейросетей. Включается при сборке UI и подготовке визуального вывода MCP. CX Codex +1 123установок testing-perf Скилл testing-perf для Claude Code выполняет нагрузочные тесты через k6 и Locust и распараллеливает pytest с xdist. Включается при написании load-тестов или ускорении прогона набора тестов. CX Codex +1 120установок chain-patterns Скилл chain-patterns собирает паттерны для многофазных пайплайнов: обнаружение MCP, handoff-файлы, возобновление после сбоя и изолированные worktree-агенты. CX Codex +1 118установок design-to-code Скилл design-to-code для Claude Code преобразует скриншоты, текстовые описания и URL страниц в компоненты React. Запускается при вёрстке интерфейсов по макетам с повторным использованием готовых блоков проекта. CX Codex +1 116установок testing-unit Скилл testing-unit задаёт шаблоны для модульных тестов, моков HTTP и фикстур в Vitest, Jest и pytest. Включается при написании тестов или настройке тестовых данных. CX Codex +1 116установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой