model-evaluator — субагент для Claude Code: оценка моделей и установка
Субагент помогает выбрать модель под задачу, спроектировать бенчмарк и проверить качество после обновления. Пригодится, когда решение нужно обосновать измеримыми критериями.
npx claude-code-templates@latest --agent ai-specialists/model-evaluatorЧто делает model-evaluator
model-evaluator сравнивает модели по качеству ответов, задержке, стоимости и другим критериям задачи. Он помогает определить метрики, подготовить тестовый набор и разобрать результаты, а для проверки после обновления модели — сопоставить их с сохранённой базовой оценкой.
Перед рекомендацией или тестированием субагент ищет актуальные названия моделей и их идентификаторы через WebSearch; для страниц с ценами и рейтингами может использовать WebFetch. Сначала он выясняет критерии успеха, бюджет, требования к задержке и пропускной способности, ограничения по данным и список рассматриваемых моделей. Без этих требований рекомендация будет преждевременной.
В Claude Code агенту доступны Read, Write, Edit, Bash, Glob, Grep, WebSearch и WebFetch. Для установки через указанный способ выполните команду npx claude-code-templates@latest --agent ai-specialists/model-evaluator; файл агента указан как .claude/agents/model-evaluator.md.
Какие задачи решает
- сравнить модели для конкретной задачи по заданным критериям
- составить план бенчмарка и выбрать метрики
- проверить, ухудшилось ли качество после обновления модели
- оценить компромисс между стоимостью и качеством
Примеры запросов агенту
- Подбери модель для суммаризации обращений с учётом бюджета и требований к задержке.
- Составь бенчмарк для моделей генерации кода и предложи метрики оценки.
- Сравни текущие результаты с базовыми и проверь, где качество снизилось.
Как установить model-evaluator
1Через claude-code-templates
npx claude-code-templates@latest --agent ai-specialists/model-evaluator2Вручную: положить файлы
.claude/agents/model-evaluator.mdДля всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию
Вручную: положить файлы
.codex/agents/model-evaluator.tomlCodex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/
Вручную: положить файлы
.cursor/agents/model-evaluator.mdCursor понимает и .claude/agents/
По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст
Вопросы о model-evaluator
Как установить model-evaluator в Claude Code?
Выполните npx claude-code-templates@latest --agent ai-specialists/model-evaluator. Файл агента: .claude/agents/model-evaluator.md.
Что делает model-evaluator?
Он помогает выбирать модели, проектировать их оценку и проверять регрессии после развёртывания. Анализ может учитывать качество, задержку и стоимость.
Какие сведения подготовить для оценки модели?
Заранее определите критерии успеха, бюджет, требования к задержке и пропускной способности, ограничения на работу с данными и список кандидатов.
