# generate-synthetic-data

Скилл собирает разнообразные тестовые запросы для оценки LLM-пайплайна, когда реальных данных мало.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 984 установки · ★ 1557
- Автор: ai-evals-course
- Лицензия: Apache-2.0 · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/ai-evals-course/evals-skills/tree/HEAD/skills/generate-synthetic-data/SKILL.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/generate-synthetic-data

## Что делает

Скилл ведёт вас по шагам: сначала определяете оси вариации (размерности), потом вместе с ним черновите 20 кортежей, затем LLM генерирует ещё, каждый кортеж превращается в естественный запрос, а слабые отсеиваются. Готовые запросы прогоняются через весь пайплайн, и вы сохраняете полные трейсы: вход, промежуточные шаги, вызовы инструментов, найденные документы, финальный ответ.

Размерности нужно выбирать там, где пайплайн скорее сломается, а не для произвольного разнообразия. Поэтому перед генерацией скилл просит разобраться с зонами риска: расспросить о проблемных местах, посмотреть отзывы пользователей или построить гипотезы по имеющимся трейсам. Если реальные запросы уже есть, скилл советует стратифицированную выборку вместо случайной — по меткам или кластерам эмбеддингов.

Есть и границы применимости. Когда у вас уже набрано 100+ репрезентативных реальных трейсов, синтетика не нужна — берите стратифицированную выборку. Для юридических документов, медицинских записей и языков с малым числом ресурсов генерация даёт нереалистичные образцы. И если никто в команде не может оценить, правдоподобен ли трейс, лучше работать с реальными данными.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill generate-synthetic-data -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/generate-synthetic-data/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/generate-synthetic-data/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill generate-synthetic-data -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/generate-synthetic-data/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill generate-synthetic-data -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/generate-synthetic-data/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install ai-evals-course/evals-skills generate-synthetic-data
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/generate-synthetic-data/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill generate-synthetic-data -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/ai-evals-course/evals-skills --path skills/generate-synthetic-data
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/generate-synthetic-data/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill generate-synthetic-data -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/ai-evals-course/evals-skills/tree/HEAD/skills/generate-synthetic-data/SKILL.md

## Когда брать
- создать стартовый набор тестовых запросов для пайплайна
- закрыть пробелы по редким типам запросов
- проверить гипотезы о конкретных сценариях отказа
- разложить тесты по осям вариации вместо случайного набора
- отфильтровать нереалистичные сгенерированные запросы

## Примеры запросов агенту
- Помоги определить размерности для синтетических тестов нашего пайплайна
- Сгенерируй 10 кортежей по этим размерностям и преврати каждый в реалистичный запрос
- Проверь сгенерированные запросы на реализм и отбрось слабые

## Похожие
- [ai-system-testing](https://affpapa.org/nevibecode/skills/ai-system-testing.md) — скилл · 1100 установок
- [nv-generate-mr](https://affpapa.org/nevibecode/skills/nv-generate-mr.md) — скилл · 1800 установок
- [nv-generate-mr-brain](https://affpapa.org/nevibecode/skills/nv-generate-mr-brain.md) — скилл · 1800 установок
- [deepeval](https://affpapa.org/nevibecode/skills/deepeval.md) — скилл · 2800 установок
- [checkpoint-promotion](https://affpapa.org/nevibecode/skills/checkpoint-promotion.md) — скилл · 2600 установок
- [mandela](https://affpapa.org/nevibecode/skills/mandela.md) — скилл · 1300 установок

Из того же набора: [ai-evals-course/evals-skills](https://affpapa.org/nevibecode/by/ai-evals-course/evals-skills.md) — 9 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md