# eval-runner

Запускает сценарии бенчмаркинга для оценки агента в Mycelium и фиксирует метрики прогона.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · ★ 47
- Автор: haabe
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/haabe/mycelium/tree/HEAD/plugins/mycelium/skills/eval-runner/SKILL.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/eval-runner

## Что делает

Скилл предназначен для запуска эвалов по сценариям из каталога `.claude/evals/scenarios/`. Он парсит параметры задачи, выполняет шаги настройки, прогоняет решение через цикл рефлексии с учётом предыдущих исправлений и проверяет все критерии успеха. Результаты сохраняются в формате JSON внутри `.claude/evals/results/`, а сводная статистика обновляет `.claude/evals/pass-history.json`.

Команды поддерживают пакетный запуск тестов в изоляции через `git stash`, разделение сценариев на сплиты `optimization` и `holdout`, генерацию табличных отчётов и очистку устаревших тестов командой `prune`. Инструмент `mine` умеет анализировать журнал изменений `.claude/state/change-log.jsonl` и находить проблемные места в коде или инструкциях, предлагая новые шаблоны сценариев.

Скилл рассчитан на работу внутри фреймворка Mycelium: автономный запуск пропускает состояние канваса и встроенные проверки среды.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add haabe/mycelium --skill eval-runner -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/eval-runner/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/eval-runner/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add haabe/mycelium --skill eval-runner -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/eval-runner/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add haabe/mycelium --skill eval-runner -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/eval-runner/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install haabe/mycelium eval-runner
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/eval-runner/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add haabe/mycelium --skill eval-runner -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/haabe/mycelium --path plugins/mycelium/skills/eval-runner
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/eval-runner/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add haabe/mycelium --skill eval-runner -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/haabe/mycelium/tree/HEAD/plugins/mycelium/skills/eval-runner/SKILL.md

## Когда брать
- запустить бенчмарк агента по готовым YAML-сценариям
- собрать сводную таблицу успешности и времени выполнения прогонов
- выявить кластеры частых правок и сгенерировать новые тесты из логов
- провести аудит устаревших и неработающих проверок командой prune

## Примеры запросов агенту
- Запусти сценарий delivery/api-cache через eval-runner
- Собери отчёт по результатам бенчмарков командой eval-runner report
- Проанализируй логи изменений и предложи новые эвалы через eval-runner mine

## Похожие
- [setup-matt-pocock-skills](https://affpapa.org/nevibecode/skills/setup-matt-pocock-skills.md) — скилл · 1052851 установка
- [ask-matt](https://affpapa.org/nevibecode/skills/ask-matt.md) — скилл · 766587 установок
- [to-tickets](https://affpapa.org/nevibecode/skills/to-tickets.md) — скилл · 711230 установок
- [writing-plans](https://affpapa.org/nevibecode/skills/writing-plans.md) — скилл · 282859 установок
- [caveman-review](https://affpapa.org/nevibecode/skills/caveman-review.md) — скилл · 411800 установок
- [caveman-compress](https://affpapa.org/nevibecode/skills/caveman-compress.md) — скилл · 411500 установок

Из того же набора: [haabe/mycelium](https://affpapa.org/nevibecode/by/haabe/mycelium.md) — 58 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md