# harness:certify

Прогоняет оценку эволюционировавшего агента три раза и считает среднее со стандартным отклонением. Нужен, когда непонятно, держится ли результат от запуска к запуску.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · ★ 57
- Автор: raphaelchristi
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/raphaelchristi/harness-evolver/tree/HEAD/skills/certify/SKILL.md
- Обновлён: 2026-04-18
- HTML: https://affpapa.org/nevibecode/skills/harnesscertify

## Что делает

Скилл читает `.evolver.json`, берёт лучший эксперимент и датасет и запускает оценку три раза на текущем коде. Работа идёт в корне проекта, а не в отдельном worktree: лучший код уже слит. Каждый прогон помечается префиксом `certify-run-$i`, потом `read_results.py` собирает три `combined_scores` в сводку, из которой считаются среднее и стандартное отклонение.

На выходе — отчёт с числом прогонов, средним, отклонением и диапазоном. Вердикт зависит от отклонения: ниже 0.05 — оценка надёжна, от 0.05 до 0.10 — разброс умеренный, от 0.10 и выше — балл ничего не значит, потому что LLM-судья трактует критерии по-разному от запуска к запуску.

Для работы нужен Python: скрипты лежат в `.evolver/tools` или `$HOME/.evolver/tools`, интерпретатор берётся из `$HOME/.evolver/venv/bin/python`, иначе `python3`. Пути задаются переменными `EVOLVER_TOOLS` и `EVOLVER_PY`. Если окружение не настроено, скрипты просто не найдутся.

При умеренном разбросе скилл советует добавить рубрики в примеры датасета, при высоком — ещё и прогнать `/harness:evolve` в режиме `heavy`. При стабильном балле следующий шаг — `/harness:deploy`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add raphaelchristi/harness-evolver --skill certify -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/certify/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/certify/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add raphaelchristi/harness-evolver --skill certify -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/certify/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add raphaelchristi/harness-evolver --skill certify -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/certify/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install raphaelchristi/harness-evolver certify
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/certify/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add raphaelchristi/harness-evolver --skill certify -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/raphaelchristi/harness-evolver --path skills/certify
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/certify/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add raphaelchristi/harness-evolver --skill certify -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/raphaelchristi/harness-evolver/tree/HEAD/skills/certify/SKILL.md

## Когда брать
- убедиться, что балл агента не скачет от запуска к запуску
- посчитать среднее и стандартное отклонение по трём прогонам оценки
- понять, виноват ли LLM-судья в разбросе результатов
- решить, можно ли деплоить текущую версию агента
- собрать сводку по нескольким экспериментам оценки в одном отчёте

## Примеры запросов агенту
- Проверь, стабильна ли оценка текущего агента, через /harness:certify
- Прогони сертификацию и скажи, какой вердикт — STABLE или UNSTABLE
- Средний балл прыгает между запусками, посчитай отклонение по трём прогонам

## Похожие
- [Research Harness Engineer](https://affpapa.org/nevibecode/agents/research-harness-engineer.md) — субагент · ★ 40451
- [llm-eval-harness](https://affpapa.org/nevibecode/skills/llm-eval-harness.md) — скилл · 372 установки
- [agent-evaluation](https://affpapa.org/nevibecode/skills/mlflow-agent-evaluation.md) — скилл · 1100 установок
- [llm-evaluation](https://affpapa.org/nevibecode/skills/llm-evaluation.md) — скилл · 12755 установок
- [eval-driven-dev](https://affpapa.org/nevibecode/skills/eval-driven-dev.md) — скилл · 3900 установок
- [certify](https://affpapa.org/nevibecode/commands/certify.md) — команда · ★ 41823

Из того же набора: [raphaelchristi/harness-evolver](https://affpapa.org/nevibecode/by/raphaelchristi/harness-evolver.md) — 3 карточки

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md