# distributed-training-ray-train

Скилл для распределённого обучения моделей на Ray Train: переносит PyTorch, TensorFlow и HuggingFace с одной видеокарты на кластер.

- скилл · `type=skill` · Claude Code · 79 установок
- Автор: Orchestra Research
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/distributed-training-ray-train
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/distributed-training-ray-train

## Что делает

Скилл объясняет, как запускать обучение через Ray Train: тренер принимает вашу функцию обучения, а координацию, распределение GPU, чекпоинты и сбор метрик берёт на себя Ray. Внутри — рабочие примеры для PyTorch (`TorchTrainer`), HuggingFace (`TransformersTrainer`) и подбора гиперпараметров через Ray Tune с планировщиком ASHA.

Отдельные разделы посвящены чекпоинтам и устойчивости к сбоям: обучение продолжается с сохранённого состояния, если узел упал. Есть пример подключения к кластеру через `ray.init(address="auto")`.

Перед запуском нужны зависимости `ray[train]`, `torch` и `transformers`, а сам Ray Train ставится командой `pip install -U "ray[train]"`. Без установленного Ray код из примеров не выполнится.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --skill ai-research/distributed-training-ray-train
```

2. **Через Skills CLI (Vercel)**
```bash
npx skills add davila7/claude-code-templates --skill distributed-training-ray-train -a claude-code
```

3. **Вручную: положить файлы**
- Файл: `~/.claude/skills/distributed-training-ray-train/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/distributed-training-ray-train/

### Codex

**Вручную: положить файлы**
- Файл: `.agents/skills/distributed-training-ray-train/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/skills/distributed-training-ray-train/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install davila7/claude-code-templates distributed-training-ray-train
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/distributed-training-ray-train/SKILL.md`

### Gemini CLI

**Командой платформы**
```bash
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/distributed-training-ray-train
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/distributed-training-ray-train/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/distributed-training-ray-train

## Когда брать
- перенести обучение PyTorch с одной GPU на несколько узлов
- подобрать гиперпараметры перебором по кластеру
- продолжить обучение после падения узла с последнего чекпоинта
- обучить модель HuggingFace на нескольких машинах
- собрать метрики обучения с разных воркеров в одном месте

## Примеры запросов агенту
- Перепиши мой цикл обучения на PyTorch под `TorchTrainer` с четырьмя воркерами
- Настрой подбор гиперпараметров через Ray Tune с `ASHAScheduler` по метрике loss
- Добавь сохранение чекпоинтов каждые 10 эпох, чтобы обучение возобновлялось после сбоя

## Похожие
- [nemo-automodel-distributed-training](https://affpapa.org/nevibecode/skills/nemo-automodel-distributed-training.md) — скилл · 2000 установок
- [distributed-llm-pretraining-torchtitan](https://affpapa.org/nevibecode/skills/distributed-llm-pretraining-torchtitan.md) — скилл · 954 установки
- [verl-rl-training](https://affpapa.org/nevibecode/skills/verl-rl-training.md) — скилл · 962 установки
- [launch-nemo-rl](https://affpapa.org/nevibecode/skills/launch-nemo-rl.md) — скилл · 1900 установок
- [machine-learning-ops](https://affpapa.org/nevibecode/plugins/machine-learning-ops.md) — плагин · ★ 41823
- [Model Hyperparameter Tuning](https://affpapa.org/nevibecode/skills/model-hyperparameter-tuning.md) — скилл · 494 установки

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 495 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md