# openrlhf-training

Скилл для запуска PPO, GRPO, RLOO и DPO на моделях от 7B до 70B+. Пригодится, когда обучение идёт на нескольких GPU или узлах.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 954 установки · ★ 13956
- Автор: Orchestra Research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/06-post-training/openrlhf/SKILL.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/skills/openrlhf-training

## Что делает

Скилл даёт агенту готовые команды для OpenRLHF — фреймворка обучения с подкреплением на Ray и vLLM. Внутри три сценария: полный конвейер SFT → reward model → PPO, обучение GRPO без критики и DPO без reward-модели. Для каждого есть строка запуска с флагами.

Установка идёт через Docker-контейнер `nvcr.io/nvidia/pytorch:25.02-py3`, затем `pip install openrlhf[vllm]`. Перед этим скилл советует снести конфликтующие пакеты: `xgboost`, `transformer_engine`, `flash_attn`, `pynvml`. Кластер поднимается командой `ray start --head`, задания отправляются через `ray job submit`. Если модель не влезает в память, уберите `--colocate_all_models` и разведите роли по разным GPU.

Есть отдельный разбор типовых сбоев: DeepSpeed с индексом GPU вне диапазона лечится переменной `RAY_EXPERIMENTAL_NOSET_CUDA_VISIBLE_DEVICES=1`, нестабильность обучения — переходом на Hybrid Engine с `--vllm_enable_sleep` и `--deepspeed_enable_sleep`. Для одноузлового обучения с простым API авторы советуют смотреть в сторону TRL.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill openrlhf-training -a claude-code
```
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill openrlhf -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/openrlhf/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/openrlhf/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill openrlhf -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/openrlhf/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill openrlhf -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/openrlhf/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Orchestra-Research/AI-Research-SKILLs openrlhf
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/openrlhf/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill openrlhf -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Orchestra-Research/AI-Research-SKILLs --path 06-post-training/openrlhf
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/openrlhf/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill openrlhf -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/06-post-training/openrlhf/SKILL.md

## Когда брать
- запустить PPO на модели 70B с распределением по нескольким узлам
- обучить reward-модель на датасете предпочтений через DPO
- перейти с PPO на GRPO и убрать модель критика
- поднять Ray-кластер и отправить задание обучения через `ray job submit`
- разобраться, почему DeepSpeed падает с индексом GPU вне диапазона

## Примеры запросов агенту
- покажи, как запустить PPO-обучение через openrlhf-training на 8 GPU
- настрой GRPO без критики для Llama-3-8B по инструкции скилла
- помоги разобрать OOM при обучении большой модели в OpenRLHF

## Похожие
- [grpo-rlvr-training](https://affpapa.org/nevibecode/skills/grpo-rlvr-training.md) — скилл · 2600 установок
- [trl-training](https://affpapa.org/nevibecode/skills/trl-training.md) — скилл · 909 установок
- [stable-baselines3](https://affpapa.org/nevibecode/skills/stable-baselines3.md) — скилл · 1900 установок
- [spark-training-gotchas](https://affpapa.org/nevibecode/skills/spark-training-gotchas.md) — скилл · 2500 установок
- [nemo-automodel-distributed-training](https://affpapa.org/nevibecode/skills/nemo-automodel-distributed-training.md) — скилл · 2000 установок
- [nemo-mbridge-mlm-bridge-training](https://affpapa.org/nevibecode/skills/nemo-mbridge-mlm-bridge-training.md) — скилл · 1800 установок

Из того же набора: [orchestra-research/ai-research-skills](https://affpapa.org/nevibecode/by/orchestra-research/ai-research-skills.md) — 66 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md