К основному содержанию
субагент CX Codex

prompt-regression-tester — субагент для Codex: установка и задачи

prompt-regression-tester — субагент для Codex, который подбирает регрессионные тесты для изменений в ИИ-системе. Он оценивает риски для промптов, моделей, инструментов и рабочих процессов.

MIT ★ 6 505 обновлён 2026-10-05

Установить в Codex · Вручную: положить файлы Все способы и платформы ↓
.codex/agents/prompt-regression-tester.toml
Открыть на GitHub

Что делает prompt-regression-tester

Субагент определяет, какие реакции ИИ могут измениться после правок, и предлагает компактный набор тестов для проверки. В него входят основные сценарии и уязвимые случаи: соблюдение схемы ответа и инструкций, точность фактов, выбор инструментов, отказы и резервные варианты.

Для каждого теста он задаёт критерии прохождения, провала или проверки человеком. Отдельно описывает, как сравнивать варианты промптов, моделей и оркестрации, какие случаи запускать после выпуска и где набор тестов может пропускать проблемы. Проверки с однозначным результатом отделяются от оценки по критериям; набор не разрастается без явного запроса.

Какие задачи решает

  • покрыть регрессионными тестами изменения промпта или модели
  • проверить, не сломался ли выбор инструмента после правки
  • задать критерии для проверки ответов человеком
  • сравнить поведение системы до и после изменения оркестрации

Примеры запросов агенту

  • Подбери регрессионные тесты для изменений в промпте и выдели рискованные сценарии.
  • Составь критерии прохождения для проверки выбора инструментов после изменения модели.
  • Сравни два варианта оркестрации и укажи слепые зоны тестового набора.

Как установить prompt-regression-tester

Вручную: положить файлы

.codex/agents/prompt-regression-tester.toml

Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы о prompt-regression-tester

Как установить prompt-regression-tester в Codex?

Добавьте файл .codex/agents/prompt-regression-tester.toml в проект.

Что делает prompt-regression-tester?

Он формирует компактный набор регрессионных тестов для изменений промптов, моделей, инструментов или рабочих процессов ИИ-системы. Также задаёт критерии оценки и стратегию сравнения будущих изменений.

Какие проверки включает prompt-regression-tester?

Он рассматривает основные сценарии и хрупкие случаи, включая соблюдение схемы ответа, выбор инструментов и поведение при отказе. Однозначные проверки отделяются от случаев, где нужен разбор человеком.

Исходный текст

prompt-regression-tester.toml · MIT
# prompt-regression-tester

Use when a task needs regression coverage for prompt, model, tool, or workflow changes in an AI system.

Own prompt regression testing as change-risk control for AI behavior over time.

Working mode:
1. Identify the change under consideration and the behaviors most likely to drift.
2. Select a compact but representative regression suite that covers core tasks and fragile edges.
3. Define what counts as pass, fail, or needs-human-review for each case.
4. Highlight the smallest suite that can be run repeatedly with signal.

Focus on:
- previously broken cases and high-value user journeys
- output schema compliance, instruction following, and factual grounding
- tool selection, refusal behavior, and fallback consistency
- comparison strategy across prompts, models, or orchestration changes
- maintenance cost of the regression suite over time

Quality checks:
- ensure the suite covers more than happy-path examples
- keep cases stable enough to detect change, not noise
- separate deterministic assertions from rubric-based review cases
- call out what should be sampled live after release

Return:
- regression scope and risk summary
- recommended test cases and why they matter
- pass/fail or review criteria
- comparison strategy for future changes
- known blind spots in the suite

Do not create a bloated test set that is expensive to maintain without improving decision quality unless explicitly requested by the parent agent.

© VoltAgent · MIT · VoltAgent/awesome-codex-subagents

Похожие субагенты

Все субагенты по теме «Тесты и QA» →
prompt-regression chrono-meta Скилл prompt-regression для Claude Code, Codex, Cursor и других агентов статически проверяет файлы харнесса после изменений в правилах или скиллах. Запускает набор проб и выдаёт PASS/FAIL/SKIP по каждой — без живых сессий. CX Codex +1 ★ 33звёзд репо agent-regression-evals Alireza Rezvani Скилл agent-regression-evals проверяет изменения в промптах, моделях и инструментах агента через статистические тесты. Он помогает отличить реальное ухудшение метрик от случайного шума в CI. CX Codex +1 1установок agent-evaluation sickn33 Скилл agent-evaluation для Claude Code, который задаёт процедуру сравнения версий агента по зафиксированным кейсам. Запускается, когда меняются промпты, инструменты или модель и нужно понять, не сломалось ли поведение. CX Codex +1 994установок ai-regression-testing affaan-m Скилл ai-regression-testing для регрессионного тестирования кода, который писал ИИ. Ловит баги, которые модель пропускает при самопроверке. CX Codex +1 6 400установок visual-regression-tester patricio0312rev Скилл visual-regression-tester настраивает визуальное регрессионное тестирование: снимает скриншоты, сравнивает их с базовыми и ловит случайные изменения интерфейса. CX Codex +1 351установок regression-hunt trailofbits Скилл regression-hunt для Claude Code, помогающий расследовать регрессии в PR и коммитах. Запускает кампании по поиску ошибок и возобновляет прерванную работу. CX Codex +1 685установок

Из того же набора176

Весь набор →
ponder-reviewer Субагент ponder-reviewer для Codex запускает многопроходный ревью-протокол с проверкой покрытия и отсевом ложных срабатываний. CX Codex ★ 6 505звёзд репо hallucination-investigator Субагент hallucination-investigator для Codex, который анализирует причины ошибок в ответах ИИ: не хватило контекста, неверный поиск, неправильный промпт или неподдержанный вывод. CX Codex ★ 6 505звёзд репо eval-engineer Субагент eval-engineer для Codex, который проектирует оценку качества промптов, поиска, вызова инструментов и сложных агентов. CX Codex ★ 6 505звёзд репо ai-observability-engineer Субагент ai-observability-engineer для Codex проектирует сбор трейсов, метрик и журналов для агентных систем и LLM в продакшене. Запускается при настройке наблюдаемости пайплайнов. CX Codex ★ 6 505звёзд репо platform-product-manager Субагент platform-product-manager для работы над внутренней платформой: превращает боли команд в дорожную карту с метриками внедрения и явными компромиссами. CX Codex ★ 6 505звёзд репо idp-architect Субагент idp-architect проектирует архитектуру внутренних платформ разработки (IDP), границы сервисов и модель self-service управления для инженерных команд. CX Codex ★ 6 505звёзд репо golden-path-designer Субагент golden-path-designer для Codex проектирует стандартный путь создания, развёртывания и эксплуатации сервисов. Определяет настройки по умолчанию и правила для исключений. CX Codex ★ 6 505звёзд репо backstage-specialist Субагент backstage-specialist помогает спроектировать внутренний портал разработчика на Backstage: каталог сервисов, шаблоны scaffolder, выбор плагинов и план внедрения. CX Codex ★ 6 505звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой