# data-processing-ray-data

Скилл для Claude, который подсказывает агенту, как обрабатывать большие датасеты через Ray Data: стриминг, GPU, батч-инференс.

- скилл · `type=skill` · Claude Code · 134 установки
- Автор: Orchestra Research
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/data-processing-ray-data
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/data-processing-ray-data

## Что делает

Скилл описывает работу с Ray Data — библиотекой распределённой обработки данных для ML. Агент получает готовые шаблоны: чтение Parquet, CSV, JSON и изображений из облачного хранилища, трансформации через `map_batches` и `map`, фильтры, группировки, запись результатов обратно. Стриминговое выполнение позволяет прогонять датасеты больше объёма памяти, а `num_gpus=1` в `map_batches` включает GPU для препроцессинга.

Внутри — инструкция с примерами кода: быстрый старт, интеграция с Ray Train, PyTorch и TensorFlow, конвертация датасета в `to_torch` и `to_tf`, настройка параллелизма через `repartition`. Отдельный раздел про батч-инференс: модель грузится один раз на воркер, предсказания пишутся в Parquet.

Для работы нужны зависимости `ray[data]`, `pyarrow` и `pandas` — без них примеры из скилла не запустятся. Автор советует брать Ray Data для датасетов от 100 ГБ и распределённого препроцессинга, а для таблиц меньше 1 ГБ на одной машине предлагает Pandas, для SQL-подобных операций — Dask или Spark. Это повод проверить, тянет ли ваш пайплайн переход на кластер.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --skill ai-research/data-processing-ray-data
```

2. **Через Skills CLI (Vercel)**
```bash
npx skills add davila7/claude-code-templates --skill data-processing-ray-data -a claude-code
```

3. **Вручную: положить файлы**
- Файл: `~/.claude/skills/data-processing-ray-data/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/data-processing-ray-data/

### Codex

**Вручную: положить файлы**
- Файл: `.agents/skills/data-processing-ray-data/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/skills/data-processing-ray-data/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install davila7/claude-code-templates data-processing-ray-data
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/data-processing-ray-data/SKILL.md`

### Gemini CLI

**Командой платформы**
```bash
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/data-processing-ray-data
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/data-processing-ray-data/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/data-processing-ray-data

## Когда брать
- обработать датасет, который не влезает в память одной машины
- прогнать батч-инференс по миллионам записей на нескольких GPU
- собрать пайплайн препроцессинга из чтения, чистки и токенизации
- загрузить изображения и другой мультимодальный контент для обучения
- отдать датасет напрямую в Ray Train, PyTorch или TensorFlow

## Примеры запросов агенту
- прочитай Parquet из s3://bucket/train/ и прогони батч-инференс на 4 GPU
- собери пайплайн: очистка, токенизация, запись результата в Parquet
- переведи датасет в формат PyTorch через to_torch для обучения

## Похожие
- [cli-batches](https://affpapa.org/nevibecode/skills/cli-batches.md) — скилл · 964 установки
- [ohlcv-processing](https://affpapa.org/nevibecode/skills/ohlcv-processing.md) — скилл · 472 установки
- [mongodb-atlas-stream-processing](https://affpapa.org/nevibecode/skills/mongodb-atlas-stream-processing.md) — скилл · 3600 установок
- [video-processing-editing](https://affpapa.org/nevibecode/skills/video-processing-editing.md) — скилл · 1400 установок
- [x-ray-a-company](https://affpapa.org/nevibecode/skills/x-ray-a-company.md) — скилл · 2100 установок
- [ray-so-code-snippet](https://affpapa.org/nevibecode/skills/ray-so-code-snippet.md) — скилл · 518 установок

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 205 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md