# evaluate-presets

Тестирует 12 готовых пресетов Ralph с помощью bash-скриптов и проверяет маршрутизацию ролей агента. Пригодится при отладке конфигураций и правил переключения контекста.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · ★ 3189
- Автор: mikeyobrien
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/mikeyobrien/ralph-orchestrator/tree/HEAD/.claude/skills/evaluate-presets/SKILL.md
- Обновлён: 2026-10-15
- HTML: https://affpapa.org/nevibecode/skills/evaluate-presets

## Что делает

Скилл запускает автономные тесты для пресетов коллекций ролей в оркестраторе Ralph. Оценка выполняется напрямую через CLI скриптами `./tools/evaluate-preset.sh` и `./tools/evaluate-all-presets.sh` без мета-оркестрации. Можно протестировать отдельный сценарий вроде `tdd-red-green` или прогнать все 12 пресетов последовательно с бэкендом `claude` или `kiro`.

При вызове через инструмент Bash тесты обязательно запускаются в фоне с параметрами `timeout: 600000` и `run_in_background: true`. Полный прогон занимает часы, поэтому агент отслеживает статус через `TaskOutput`. Скрипт сохраняет логи, дампы сессий `session.jsonl` и метрики в директорию `.eval/`, фиксируя число итераций, активированные роли и опубликованные события.

Для корректной проверки изоляции контекста число итераций должно примерно совпадать с количеством событий. Если агент переключает роли внутри одного шага без разделения итераций, контекст раздувается. Для работы тестового раннера потребуется Cargo для сборки проекта, а утилита `yq` нужна опционально для чтения задач из YAML.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mikeyobrien/ralph-orchestrator --skill evaluate-presets -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/evaluate-presets/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/evaluate-presets/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mikeyobrien/ralph-orchestrator --skill evaluate-presets -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/evaluate-presets/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mikeyobrien/ralph-orchestrator --skill evaluate-presets -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/evaluate-presets/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install mikeyobrien/ralph-orchestrator evaluate-presets
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/evaluate-presets/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mikeyobrien/ralph-orchestrator --skill evaluate-presets -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/mikeyobrien/ralph-orchestrator --path .claude/skills/evaluate-presets
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/evaluate-presets/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add mikeyobrien/ralph-orchestrator --skill evaluate-presets -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/mikeyobrien/ralph-orchestrator/tree/HEAD/.claude/skills/evaluate-presets/SKILL.md

## Когда брать
- проверить изоляцию контекста при переключении ролей
- запустить прогон всех 12 пресетов оркестратора одной командой
- собрать логи сессий, итерации и метрики событий в каталог `.eval/`
- выявить зависания агента по таймауту с кодом 124

## Примеры запросов агенту
- Проверь пресет tdd-red-green на бэкенде claude через ./tools/evaluate-preset.sh в фоновом режиме
- Запусти тестирование всех пресетов через ./tools/evaluate-all-presets.sh claude и отслеживай статус
- Проанализируй сессию в .eval/logs/api-design/latest/session.jsonl на предмет смены ролей в одной итерации

## Похожие
- [setup-matt-pocock-skills](https://affpapa.org/nevibecode/skills/setup-matt-pocock-skills.md) — скилл · 1052851 установка
- [ask-matt](https://affpapa.org/nevibecode/skills/ask-matt.md) — скилл · 766587 установок
- [to-tickets](https://affpapa.org/nevibecode/skills/to-tickets.md) — скилл · 711230 установок
- [writing-plans](https://affpapa.org/nevibecode/skills/writing-plans.md) — скилл · 282859 установок
- [caveman-review](https://affpapa.org/nevibecode/skills/caveman-review.md) — скилл · 411800 установок
- [caveman-compress](https://affpapa.org/nevibecode/skills/caveman-compress.md) — скилл · 411500 установок

Из того же набора: [mikeyobrien/ralph-orchestrator](https://affpapa.org/nevibecode/by/mikeyobrien/ralph-orchestrator.md) — 16 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md