# model-evaluator

Субагент помогает выбрать модель под задачу, спроектировать бенчмарк и проверить качество после обновления. Пригодится, когда решение нужно обосновать измеримыми критериями.

- субагент · `type=agent` · Claude Code · 1061 установка
- Автор: davila7
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/agents/ai-specialists/model-evaluator.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/agents/model-evaluator

## Что делает

model-evaluator сравнивает модели по качеству ответов, задержке, стоимости и другим критериям задачи. Он помогает определить метрики, подготовить тестовый набор и разобрать результаты, а для проверки после обновления модели — сопоставить их с сохранённой базовой оценкой.

Перед рекомендацией или тестированием субагент ищет актуальные названия моделей и их идентификаторы через WebSearch; для страниц с ценами и рейтингами может использовать WebFetch. Сначала он выясняет критерии успеха, бюджет, требования к задержке и пропускной способности, ограничения по данным и список рассматриваемых моделей. Без этих требований рекомендация будет преждевременной.

В Claude Code агенту доступны Read, Write, Edit, Bash, Glob, Grep, WebSearch и WebFetch. Для установки через указанный способ выполните команду `npx claude-code-templates@latest --agent ai-specialists/model-evaluator`; файл агента указан как `.claude/agents/model-evaluator.md`.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --agent ai-specialists/model-evaluator
```

2. **Вручную: положить файлы**
- Файл: `.claude/agents/model-evaluator.md` — Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

### Codex

**Вручную: положить файлы**
- Файл: `.codex/agents/model-evaluator.toml` — Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/agents/model-evaluator.md` — Cursor понимает и .claude/agents/

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/agents/ai-specialists/model-evaluator.md

## Когда брать
- сравнить модели для конкретной задачи по заданным критериям
- составить план бенчмарка и выбрать метрики
- проверить, ухудшилось ли качество после обновления модели
- оценить компромисс между стоимостью и качеством

## Примеры запросов агенту
- Подбери модель для суммаризации обращений с учётом бюджета и требований к задержке.
- Составь бенчмарк для моделей генерации кода и предложи метрики оценки.
- Сравни текущие результаты с базовыми и проверь, где качество снизилось.

## Похожие
- [prompt-engineer](https://affpapa.org/nevibecode/agents/voltagent-community-prompt-engineer.md) — субагент · 16078 установок
- [prompt-engineer](https://affpapa.org/nevibecode/agents/prompt-engineer.md) — субагент · 16078 установок
- [ai-engineer](https://affpapa.org/nevibecode/agents/voltagent-community-ai-engineer.md) — субагент · 7687 установок
- [ai-engineer](https://affpapa.org/nevibecode/agents/ai-engineer.md) — субагент · 7687 установок
- [search-specialist](https://affpapa.org/nevibecode/agents/search-specialist.md) — субагент · 6886 установок
- [business-analyst](https://affpapa.org/nevibecode/agents/business-analyst.md) — субагент · 3855 установок

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 495 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md