# evaluation-harness

Скилл evaluation-harness для Claude Code и ещё пяти агентных платформ, который выстраивает повторяемую оценку LLM-приложений: golden-датасеты, рубрики скоринга, пороги pass/fail и отчёты о регрессиях.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 275 установок · ★ 64 у репозитория
- Автор: patricio0312rev
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/patricio0312rev/skills/tree/HEAD/ai-engineering/evaluation-harness/SKILL.md
- Обновлён: 2026-01-12
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/evaluation-harness

## Что делает

Скилл разворачивает каркас оценки: тестовые примеры хранятся в JSON с полями `input`, `expected_output` и рубрикой, где каждая метрика получает вес. Дальше идут функции скоринга — от точного совпадения строк до семантической близости эмбеддингов и LLM-судьи, который выставляет оценки по критериям из рубрики.

Тестовый раннер `EvaluationHarness` прогоняет модель по датасету, собирает результаты и проверяет пороги по категориям. Для code_generation, например, `correctness` должен быть не ниже 0.9, а `style` — не ниже 0.7. Пороги задаются в словаре `THRESHOLDS`, и если хотя бы одна метрика не дотягивает, тест считается проваленным.

Регрессионный отчёт сравнивает два прогона — baseline и текущий — и помечает регрессии, улучшения и неизменившиеся тесты. Есть функция `ci_evaluation`, которая запускает оценку на каждом коммите и падает с `sys.exit(1)`, если нашлась хоть одна регрессия. Чек-лист в конце скилла требует от 50 примеров в датасете.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill evaluation-harness -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/evaluation-harness/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/evaluation-harness/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill evaluation-harness -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/evaluation-harness/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill evaluation-harness -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/evaluation-harness/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install patricio0312rev/skills ai-engineering/evaluation-harness/SKILL.md
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/evaluation-harness/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill evaluation-harness -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/patricio0312rev/skills --path ai-engineering/evaluation-harness
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/evaluation-harness/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill evaluation-harness -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/patricio0312rev/skills/tree/HEAD/ai-engineering/evaluation-harness/SKILL.md

## Когда брать
- собрать golden-датасет с ожидаемыми ответами и рубриками
- настроить несколько метрик скоринга вместо одной
- задать пороги pass/fail по категориям
- ловить регрессии при изменении модели или промпта
- встроить оценку в CI и падать при регрессиях

## Примеры запросов агенту
- Собери golden-датасет из 50 примеров для моей задачи суммаризации, разбей по категориям и пропиши рубрики
- Напиши раннер, который прогоняет текущую модель по датасету и сравнивает с baseline из `baseline_results.json`
- Настрой CI: оценка запускается на каждый коммит, при регрессиях падает с ненулевым кодом

## Похожие
- [llm-evaluation](https://affpapa.org/nevibecode/skills/llm-evaluation.md) — скилл · 12755 установок
- [genai-hub-prompt-evaluation](https://affpapa.org/nevibecode/skills/genai-hub-prompt-evaluation.md) — скилл · 185 установок
- [evaluation-lm-evaluation-harness](https://affpapa.org/nevibecode/skills/evaluation-lm-evaluation-harness.md) — скилл · 92 установки
- [agent-evaluation](https://affpapa.org/nevibecode/skills/mlflow-agent-evaluation.md) — скилл · 1100 установок
- [llm-eval-harness](https://affpapa.org/nevibecode/skills/llm-eval-harness.md) — скилл · 438 установок
- [dspy-evaluation-suite](https://affpapa.org/nevibecode/skills/dspy-evaluation-suite.md) — скилл · ★ 125 у репозитория

Из того же набора: [patricio0312rev/skills](https://affpapa.org/nevibecode/by/patricio0312rev/skills.md) — 148 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
