К основному содержанию
субагент CX Codex

eval-engineer — субагент для Codex: что делает и как установить

Субагент eval-engineer для Codex, который проектирует оценку качества промптов, поиска, вызова инструментов и сложных агентов.

MIT ★ 6 505 обновлён 2026-10-05

Установить в Codex · Вручную: положить файлы Все способы и платформы ↓
.codex/agents/eval-engineer.toml
Открыть на GitHub

Что делает eval-engineer

Этот субагент берёт на себя подготовку практических эвалов вместо поверхностных бенчмарков. Он определяет тестируемый пайплайн, выявляет критические сбои и переводит их в измеримые сценарии. На выходе формируется компактный план проверки: матрица сценариев, пороги регрессий, метрики задержки со стоимостью и стратегия приёмки для релиза.

В инструкциях заложен явный запрет называть эвал полным, если проверен только позитивный базовый сценарий. Субагент отделяет офлайн-тесты от экспертной ручной разметки и живой валидации, поэтому вы сразу видите слепые зоны системы. По умолчанию в конфигурации прописана модель gpt-5.6-sol.

Какие задачи решает

  • спроектировать план оценки для многошагового ИИ-агента
  • сформулировать критерии регрессии и метрики качества поиска
  • прописать сценарии тестирования для вызовов внешних инструментов
  • разделить офлайн-метрики и задачи для ручной экспертной проверки

Примеры запросов агенту

  • Спроектируй эвал для RAG-пайплайна службы поддержки с проверкой галлюцинаций
  • Подготовь матрицу тест-кейсов и метрики прохождения для агента, вызывающего SQL-инструменты
  • Составь план проверки регрессий перед заменой базовой модели в многошаговом воркфлоу

Как установить eval-engineer

Вручную: положить файлы

.codex/agents/eval-engineer.toml

Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы об eval-engineer

Как установить eval-engineer в Codex?

Сохраните конфигурацию субагента в файл .codex/agents/eval-engineer.toml внутри вашего проекта.

Что делает субагент eval-engineer?

Он формирует план измерений: матрицу рискованных сценариев, рубрики оценки, пороги регрессий и требования к живому тестированию.

Какая модель используется в субагенте?

Во фронтматтере субагента указана модель gpt-5.6-sol.

Исходный текст

eval-engineer.toml · MIT
# eval-engineer

Use when a task needs evaluation design for prompts, retrieval, tools, or multi-step agent workflows.

Own evaluation design as measurement engineering for real system quality, not vanity benchmarking.

Working mode:
1. Define the workflow under test and the decisions the evaluation should support.
2. Identify the highest-risk failure modes and translate them into measurable scenarios.
3. Build the leanest useful evaluation plan that can catch regressions and compare changes.
4. Distinguish offline evaluation, human review, and live validation needs.

Focus on:
- scenario coverage tied to real tasks and edge cases
- pass/fail criteria, rubrics, and judgment consistency
- retrieval, tool-use, and multi-turn workflow failure measurement
- cost and latency impacts alongside output quality
- regression thresholds that are strict enough to matter

Quality checks:
- ensure the eval plan can influence actual go/no-go decisions
- avoid proxy metrics that hide real user failures
- separate dataset gaps from model or workflow failures
- call out where human labels or expert review are necessary

Return:
- evaluation objective and target workflow
- prioritized scenario matrix and metrics
- scoring or review approach
- regression strategy and decision thresholds
- limitations and what still requires live testing

Do not claim an evaluation is comprehensive when it only samples a narrow happy path unless explicitly requested by the parent agent.

© VoltAgent · MIT · VoltAgent/awesome-codex-subagents

Похожие субагенты

Все субагенты по теме «Тесты и QA» →
eval-runner haabe Скилл eval-runner для Claude Code запускает eval-сценарии из YAML через reflexion-цикл и записывает результаты в JSON. Фиксирует время, число итераций и статус критериев успеха. CX Codex +1 ★ 54звёзд репо bmad-eval bmad-code-org Скилл bmad-eval для Claude Code, Codex, Cursor и Copilot, который прогоняет тесты другого скилла и отчитывается о результатах. Запускается, когда нужно проверить триггеры описания, сравнить версии или оценить качество по рубрике. CX Codex +1 9 100установок eval-harness affaan-m Скилл eval-harness для Claude Code, Codex, Cursor и других агентных платформ, реализующий eval-driven development: критерии успеха определяются до написания кода, результаты измеряются метриками pass@k и pass^k. CX Codex +1 6 500установок eval-engineering langchain-ai Скилл eval-engineering для Claude Code помогает проектировать и проверять задачи для оценки ИИ-агентов. Он подключается при работе с бенчмарками, трассами запусков и Harbor. CX Codex +1 6 300установок agent-observability-eval-pipeline datadog-labs Скилл agent-observability-eval-pipeline ведёт инструментированное ml_app по шести фазам: классификация трейсов, разбор сбоев, бутстрап эвалуаторов, датасет, эксперимент и анализ. CX Codex +1 674установок llm-eval-harness daymade Скилл llm-eval-harness для Claude Code, Codex, Cursor и других платформ: проверяет сторонний LLM-эндпоинт на доступность, скорость, точность следования system prompt и соответствие протоколу. CX Codex +1 438установок

Из того же набора176

Весь набор →
ponder-reviewer Субагент ponder-reviewer для Codex запускает многопроходный ревью-протокол с проверкой покрытия и отсевом ложных срабатываний. CX Codex ★ 6 505звёзд репо prompt-regression-tester prompt-regression-tester — субагент для Codex, который подбирает регрессионные тесты для изменений в ИИ-системе. Он оценивает риски для промптов, моделей, инструментов и рабочих процессов. CX Codex ★ 6 505звёзд репо hallucination-investigator Субагент hallucination-investigator для Codex, который анализирует причины ошибок в ответах ИИ: не хватило контекста, неверный поиск, неправильный промпт или неподдержанный вывод. CX Codex ★ 6 505звёзд репо ai-observability-engineer Субагент ai-observability-engineer для Codex проектирует сбор трейсов, метрик и журналов для агентных систем и LLM в продакшене. Запускается при настройке наблюдаемости пайплайнов. CX Codex ★ 6 505звёзд репо platform-product-manager Субагент platform-product-manager для работы над внутренней платформой: превращает боли команд в дорожную карту с метриками внедрения и явными компромиссами. CX Codex ★ 6 505звёзд репо idp-architect Субагент idp-architect проектирует архитектуру внутренних платформ разработки (IDP), границы сервисов и модель self-service управления для инженерных команд. CX Codex ★ 6 505звёзд репо golden-path-designer Субагент golden-path-designer для Codex проектирует стандартный путь создания, развёртывания и эксплуатации сервисов. Определяет настройки по умолчанию и правила для исключений. CX Codex ★ 6 505звёзд репо backstage-specialist Субагент backstage-specialist помогает спроектировать внутренний портал разработчика на Backstage: каталог сервисов, шаблоны scaffolder, выбор плагинов и план внедрения. CX Codex ★ 6 505звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой