# experiment-pipeline

Ведёт исследовательский эксперимент по четырём стадиям с лимитами попыток и условиями перехода. Пригодится, когда базовый результат ещё не воспроизведён, а метод уже хочется проверять.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 389 установок · ★ 481
- Автор: EvoScientist
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/EvoScientist/EvoSkills/tree/HEAD/skills/experiment-pipeline/SKILL.md
- Обновлён: 2026-09-30
- HTML: https://affpapa.org/nevibecode/skills/experiment-pipeline

## Что делает

Скилл задаёт жёсткий порядок: сначала воспроизвести baseline, потом подобрать гиперпараметры, затем проверить свой метод и в конце сделать ablation study. У каждой стадии есть бюджет попыток и gate condition — метрики должны попасть в нужный коридор, иначе на следующую стадию не переходишь. Артефакты складываются в `/experiments/stageN_name/`.

Внутри каждой стадии крутится цикл из пяти шагов: сформулировать гипотезу, запустить, записать результат, сравнить с ожиданием, поправить план. Если результат расходится с ожиданием, скилл отправляет в `experiment-craft` за пятишаговой диагностикой. Перед стартом он читает память экспериментов по пути `/memory/experiment-memory.md` и берёт оттуда одну стратегию, подходящую по домену.

Бюджеты здесь не декорация: 20 попыток на baseline, 12 на тюнинг, 12 на метод, 18 на ablation. Советует начинать диагностику через `experiment-craft`, если первые пять попыток дают расхождение больше 10%. Для отладки конкретной неудачи или планирования набора экспериментов этот скилл не подходит — там нужны `experiment-craft` и `paper-planning`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add EvoScientist/EvoSkills --skill experiment-pipeline -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/experiment-pipeline/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/experiment-pipeline/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add EvoScientist/EvoSkills --skill experiment-pipeline -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/experiment-pipeline/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add EvoScientist/EvoSkills --skill experiment-pipeline -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/experiment-pipeline/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install EvoScientist/EvoSkills experiment-pipeline
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/experiment-pipeline/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add EvoScientist/EvoSkills --skill experiment-pipeline -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/EvoScientist/EvoSkills --path skills/experiment-pipeline
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/experiment-pipeline/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add EvoScientist/EvoSkills --skill experiment-pipeline -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/EvoScientist/EvoSkills/tree/HEAD/skills/experiment-pipeline/SKILL.md

## Когда брать
- воспроизвести baseline из статьи и сверить метрики с опубликованными
- подобрать гиперпараметры под своё железо и версию фреймворка
- проверить новый метод против настроенного baseline на трёх прогонах
- собрать ablation study с доказательством вклада каждого компонента
- остановить перебор попыток, когда результат не сходится

## Примеры запросов агенту
- Помоги воспроизвести baseline из этой статьи: код нашёл, метрики расходятся на 8%
- Переходим к тюнингу гиперпараметров, нужен стабильный конфиг с разбросом меньше 5% на трёх прогонах
- Проверь мой метод против baseline и запиши результаты в stage3

## Похожие
- [ablation-planner](https://affpapa.org/nevibecode/skills/ablation-planner.md) — скилл · 505 установок
- [experiment-code](https://affpapa.org/nevibecode/skills/experiment-code.md) — скилл · 1600 установок
- [research-refine-pipeline](https://affpapa.org/nevibecode/skills/research-refine-pipeline.md) — скилл · 504 установки
- [measure-experiment-results](https://affpapa.org/nevibecode/skills/measure-experiment-results.md) — скилл · 742 установки
- [launchdarkly-experiment-setup](https://affpapa.org/nevibecode/skills/launchdarkly-experiment-setup.md) — скилл · 2700 установок
- [configuring-experiment-rollout](https://affpapa.org/nevibecode/skills/configuring-experiment-rollout.md) — скилл · 389 установок

Из того же набора: [evoscientist/evoskills](https://affpapa.org/nevibecode/by/evoscientist/evoskills.md) — 11 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md