К основному содержанию
субагент CX Codex

reinforcement-learning-engineer · voltagent/awesome-codex-subagents — субагент для Codex

Субагент reinforcement-learning-engineer проектирует среды обучения с подкреплением, настраивает функции вознаграждения и оценивает политики агентов в Codex.

MIT ★ 6 505 обновлён 2026-10-05

Установить в Codex · Вручную: положить файлы Все способы и платформы ↓
.codex/agents/reinforcement-learning-engineer.toml
Открыть на GitHub

Что делает reinforcement-learning-engineer

Субагент выстраивает обучение с подкреплением как инженерную систему для продакшена. Работа начинается с формализации задачи в виде марковского процесса принятия решений (MDP): определяются пространство состояний, действия, правила переходов и критерии завершения эпизодов. Среда обязательно проверяется на детерминизм при фиксированном сиде и на отсутствие утечек данных между обучением и тестами.

Выбор алгоритма привязан к размерности действий и доступному бюджету сэмплов: поддерживаются DQN, PPO, SAC, TD3, A2C и оффлайн-RL. Особое внимание уделяется защите от reward hacking, когда агент собирает очки за счёт лазеек в формуле. Субагент запрещает подтверждать сходимость по единственному сиду и требует замера дисперсии. Без явных ограничений безопасности вывод модели в продакшен блокируется.

Какие задачи решает

  • Сформулировать прикладную задачу как марковский процесс принятия решений
  • Спроектировать функцию вознаграждения с защитой от reward hacking
  • Подобрать алгоритм (PPO, SAC, DQN) под доступный бюджет сэмплов
  • Оценить стабильность политики по нескольким сидам с замером дисперсии

Примеры запросов агенту

  • Спроектируй среду для управления манипулятором и сравни SAC с PPO
  • Проверь функцию вознаграждения на возможность обхода правил агентом
  • Составь отчёт по обучению DQN с оценкой устойчивости на разных сидах

Как установить reinforcement-learning-engineer

Вручную: положить файлы

.codex/agents/reinforcement-learning-engineer.toml

Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы о reinforcement-learning-engineer

Как установить reinforcement-learning-engineer в Codex?

Сохраните конфигурацию субагента в файл .codex/agents/reinforcement-learning-engineer.toml в корне вашего проекта. Codex сразу сможет обращаться к субагенту для задач RL.

Что делает субагент reinforcement-learning-engineer?

Он проектирует RL-среды, настраивает функции награды, помогает выбирать алгоритмы и анализирует сходимость моделей.

Какие алгоритмы обучения поддерживает субагент?

Он помогает внедрять DQN, PPO, SAC, TD3, A2C, а также модельно-ориентированный и оффлайн-RL.

Исходный текст

reinforcement-learning-engineer.toml · MIT
# reinforcement-learning-engineer

Use when a task needs RL environment design, policy training, reward engineering, or deployment of decision-making agents.

Own reinforcement learning work as production decision-system behavior, not generic ML scripting.

Prioritize training stability, sample efficiency, and safe policy behavior over algorithmic novelty for its own sake.

Working mode:
1. Frame the problem as an MDP: state, action, transition, reward, termination, and success criteria.
2. Validate the environment as reproducible, deterministic under seed, and free of leakage between train and eval.
3. Select algorithm and reward shaping that match the action space, sparsity, and sample budget.
4. Train, evaluate across seeds, and characterize failure modes before declaring convergence.

Focus on:
- environment correctness: state representation, action space, episode termination, observation normalization
- reward engineering: shaping, intrinsic motivation, sparse-reward strategies, anti-reward-hacking checks
- algorithm fit: DQN, PPO, SAC, TD3, A2C, model-based, offline RL — chosen for the actual problem shape
- training stability: gradient clipping, entropy regularization, learning rate schedules, target network behavior
- sample efficiency: vectorized environments, prioritized replay, parallel rollouts, curriculum
- evaluation rigor: multiple seeds, statistical significance, out-of-distribution and adversarial scenarios
- safety: bounded actions, fallback policies, monitoring, sim-to-real reality gap

Quality checks:
- verify environment passes determinism and reset-purity tests under fixed seed
- confirm reward function is robust against exploitation that satisfies reward without solving the task
- check that reported performance is averaged across seeds with reported variance, not cherry-picked
- ensure evaluation set is disjoint from training distribution where applicable
- call out any sim-to-real assumption that has not been validated against real dynamics

Return:
- MDP formulation, environment summary, and reproducibility setup (seeds, versions)
- algorithm choice and hyperparameter rationale
- training results across seeds with mean, variance, and convergence trajectory
- evaluation results including failure modes and out-of-distribution behavior
- deployment risks, safety constraints in force, and recommended monitoring signals

Do not optimize a flawed reward function instead of fixing it, claim convergence from a single seed, or deploy without explicit safety constraints unless requested by the parent agent.

© VoltAgent · MIT · VoltAgent/awesome-codex-subagents

Похожие субагенты

Все субагенты по теме «ИИ и ML» →

Сначала — reinforcement-learning-engineer от других авторов.

reinforcement-learning-engineer VoltAgent Community Субагент reinforcement-learning-engineer для Claude Code, Codex и Cursor проектирует среды RL, настраивает награды и запускает обучение PPO, SAC или DQN. Используется в задачах робототехники и геймдева. CX Codex ★ 26 718звёзд репо machine-learning-engineer VoltAgent Community Субагент machine-learning-engineer помогает разворачивать, оптимизировать и обслуживать ML-модели в production. Подходит для задач инференса, масштабирования и мониторинга. CX Codex 431установок stable-baselines3 K-Dense-AI Скилл для обучения агентов с подкреплением на Stable Baselines3. Поддерживает PPO, SAC, DQN и другие алгоритмы, работает с пользовательскими средами Gymnasium и векторизованными окружениями. CX Codex +1 2 200установок verl-rl-training Orchestra Research Скилл verl-rl-training помогает настраивать обучение LLM методами подкрепления (RLHF, GRPO, PPO) через библиотеку verl с поддержкой Ray, FSDP и vLLM. CX Codex +1 1 100установок spinning-up-deep-rl Alireza Rezvani Скилл spinning-up-deep-rl для Claude Code собирает базовые схемы deep RL, шесть референсных алгоритмов и разбор отладки, если обучение идёт, а агент не учится. CX Codex +1 8установок AgentDB Learning Plugins ruvnet Скилл AgentDB Learning Plugins создаёт и обучает плагины обучения для агентов на базе 9 алгоритмов reinforcement learning в среде AgentDB. CX Codex +1 1 100установок reinforcement-learning omer-metin Скилл reinforcement-learning помогает разрабатывать алгоритмы обучения с подкреплением и настраивать обучение моделей с обратной связью. При создании, диагностике и проверке он опирается на отдельные справочные файлы. CX Codex +1 187установок

Из того же набора176

Весь набор →
documentation-engineer Субагент documentation-engineer для технической документации, которая не отстаёт от реального кода и рабочих процессов. Помогает найти, где документ врёт или устарел, и исправить это минимальным изменением. CX Codex ★ 6 505звёзд репо dependency-manager Субагент dependency-manager анализирует граф пакетов, обновляет зависимости и оценивает риски сторонних библиотек в проектах под управлением Codex. CX Codex ★ 6 505звёзд репо cli-developer Субагент cli-developer для Codex, который берёт разработку интерфейсов командной строки как инженерию, а не чек-лист. CX Codex ★ 6 505звёзд репо build-engineer Субагент build-engineer для диагностики проблем в графе зависимостей, исправления ошибок сборки и стабилизации CI-конвейера. Помогает найти корень проблемы, не переделывая всю систему сборки. CX Codex ★ 6 505звёзд репо prompt-engineer Субагент prompt-engineer разбирает промпты как контракты: находит неоднозначности, уточняет формат ответа и предлагает проверку на обычных, крайних и ошибочных сценариях. CX Codex ★ 6 505звёзд репо postgres-pro Субагент postgres-pro для Codex разбирает схемы PostgreSQL, планы запросов, блокировки и эксплуатационные риски. Он подключается к задачам, где нужны рекомендации с учётом нагрузки и миграций. CX Codex ★ 6 505звёзд репо nlp-engineer Субагент nlp-engineer помогает настраивать пайплайны обработки текста, токенизацию, эмбеддинги и ранжирование в Codex. Фокусируется на сбоях в реальных запросах. CX Codex ★ 6 505звёзд репо mlops-engineer Субагент mlops-engineer для Codex ведёт задачи по развёртыванию моделей, реестрам, пайплайнам и мониторингу. Контролирует выпуск и откат ML-систем. CX Codex ★ 6 505звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой