# llm-finetuning-eval-engineer

Субагент строит контур оценки для дообучения, проверяет базовую модель и выносит вердикт по чекпойнтам. Нужен до запуска обучения и после него.

- субагент · `type=agent` · Claude Code, Codex, Cursor · ★ 41823
- Автор: Seth Hobson
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/wshobson/agents/tree/HEAD/plugins/llm-finetuning/agents/llm-finetuning-eval-engineer.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/agents/llm-finetuning-eval-engineer

## Что делает

Субагент отвечает за оценочный контур дообучения: разбирает реальные трейсы по категориям ошибок или создаёт синтетические эталоны, затем пишет проверки для каждой категории. Сначала используются детерминированные проверки через regex, валидацию схемы или выполнение кода. LLM-судья подключается только там, где такого правила недостаточно.

Для судей предусмотрена калибровка на закрытой выборке с TPR/TNR, закреплённым снимком модели и судьёй из другой модельной семьи. Субагент собирает `eval/drift-suite.yaml`, запускает полный контур на исходной модели и сохраняет baseline. Каждый результат содержит `messages`, `verdict`, `reward` и имя проверяющего модуля, чтобы трейсы можно было передать в `trace-to-training-data`.

После передачи чекпойнта субагент выступает независимым gatekeeper и проверяет его по правилам продвижения. Он не пишет конфигурацию обучения, не запускает обучение и не выбирает гиперпараметры. Без базового прогона сравнивать чекпойнт не с чем.

## Установка

### Claude Code (родная платформа)

1. **Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add wshobson/agents
```
В чате агента (не в терминале):
```text
/plugin install llm-finetuning@claude-code-workflows
```

2. **Вручную: положить файлы**
- Файл: `.claude/agents/llm-finetuning-eval-engineer.md` — Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

### Codex

**Вручную: положить файлы**
- Файл: `.codex/agents/llm-finetuning-eval-engineer.toml` — Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/agents/llm-finetuning-eval-engineer.md` — Cursor понимает и .claude/agents/

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/wshobson/agents/tree/HEAD/plugins/llm-finetuning/agents/llm-finetuning-eval-engineer.md

## Когда брать
- разобрать трейсы и выделить категории ошибок
- собрать эталонный набор для оценки модели
- написать детерминированные и LLM-проверки
- откалибровать судью по TPR/TNR
- сравнить чекпойнт с базовой моделью

## Примеры запросов агенту
- Собери контур оценки дообучения и подготовь файлы в `eval/`.
- Разбери реальные трейсы, выдели категории ошибок и создай по одной проверке на каждую.
- Запусти полный контур на исходной модели и сохрани baseline вместе с `results.json`.

## Похожие
- [prompt-engineer](https://affpapa.org/nevibecode/agents/voltagent-community-prompt-engineer.md) — субагент · 16078 установок
- [ai-engineer](https://affpapa.org/nevibecode/agents/voltagent-community-ai-engineer.md) — субагент · 7687 установок

Из того же набора: [wshobson/agents](https://affpapa.org/nevibecode/by/wshobson/agents.md) — 440 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md