openclaw-rl-training — скилл для Claude Code
Скилл разворачивает OpenClaw-RL: асинхронный фреймворк, который превращает живые диалоги в обучающие сигналы для персонального агента.
npx skills add reason-machines/trending-skills --skill openclaw-rl-training -a claude-codeЧто делает openclaw-rl-training
OpenClaw-RL оборачивает вашу модель в OpenAI-совместимый API через OpenClaw, перехватывает многошаговые разговоры и дообучает политику в фоне, не мешая работе. Внутри четыре независимых цикла: обслуживание агента, сбор траекторий, оценка ходов через PRM или судью и обучение политики. Для обучения доступны GRPO, on-policy distillation и комбинированный метод.
Ставится из репозитория: клонируете OpenClaw-RL, ставите зависимости из requirements.txt, затем slime как бэкенд обучения. SGLang для быстрого инференса — по желанию. Дальше запускаете готовые скрипты, подставив свои пути через переменные окружения: MODEL_PATH, DATA_PATH, CKPT_SAVE_DIR, а для OPD ещё JUDGE_MODEL_PATH.
GPU придётся разделить руками: в примере восемь карт делят на четыре под обучение и четыре под rollout. Без этого шага скрипт не запустится. LoRA снижает расход памяти, если карт мало. Расширения подключаются флагами вроде --custom-loss-function-path и --custom-rm-path, ядро slime трогать не нужно.
Какие задачи решает
- превратить живые диалоги с агентом в обучающие траектории
- настроить GRPO-обучение с Process Reward Model
- собрать on-policy distillation с судьёй и текстовыми подсказками
- запустить асинхронный RL-пайплайн, не останавливая обслуживание агента
- подключить свою функцию потерь или reward-модель без правки ядра
Примеры запросов агенту
- Настрой обучение агента через OpenClaw-RL по скрипту
run_qwen3_7b_openclaw_rl.sh - Раздели GPU на обучение и rollout и запусти комбинированный метод
run_qwen3_7b_openclaw_combine.sh - Подключи свою reward-модель через флаг
--custom-rm-path ./my_method/custom_rm.py
Как установить openclaw-rl-training
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill openclaw-rl-training -a claude-code2Вручную: положить файлы
~/.claude/skills/openclaw-rl-training/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/openclaw-rl-training/
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill openclaw-rl-training -a codex2Вручную: положить файлы
.agents/skills/openclaw-rl-training/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill openclaw-rl-training -a cursor2Вручную: положить файлы
.cursor/skills/openclaw-rl-training/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install reason-machines/trending-skills openclaw-rl-training2Вручную: положить файлы
.github/skills/openclaw-rl-training/SKILL.md1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill openclaw-rl-training -a gemini-cli2Командой платформы
gemini skills install https://github.com/reason-machines/trending-skills --path skills/openclaw-rl-trainingВручную: положить файлы
.devin/skills/openclaw-rl-training/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill openclaw-rl-training -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о openclaw-rl-training
Как установить openclaw-rl-training в Claude Code?
Выполните npx skills add reason-machines/trending-skills --skill openclaw-rl-training -a claude-code. Скилл появится в ~/.claude/skills/openclaw-rl-training/SKILL.md.
Что делает openclaw-rl-training?
Разворачивает OpenClaw-RL — асинхронный фреймворк обучения с подкреплением, который собирает многошаговые диалоги и дообучает политику агента в фоне.
Что нужно подготовить перед запуском обучения?
Пути к базовой модели, данным разговоров и каталогу чекпоинтов через переменные окружения. Для OPD добавляется JUDGE_MODEL_PATH, для Binary RL — PRM_MODEL_PATH.
