data-processing-ray-data — скилл для Claude Code: Ray Data для ML
Скилл для Claude, который подсказывает агенту, как обрабатывать большие датасеты через Ray Data: стриминг, GPU, батч-инференс.
npx claude-code-templates@latest --skill ai-research/data-processing-ray-dataЧто делает data-processing-ray-data
Скилл описывает работу с Ray Data — библиотекой распределённой обработки данных для ML. Агент получает готовые шаблоны: чтение Parquet, CSV, JSON и изображений из облачного хранилища, трансформации через map_batches и map, фильтры, группировки, запись результатов обратно. Стриминговое выполнение позволяет прогонять датасеты больше объёма памяти, а num_gpus=1 в map_batches включает GPU для препроцессинга.
Внутри — инструкция с примерами кода: быстрый старт, интеграция с Ray Train, PyTorch и TensorFlow, конвертация датасета в to_torch и to_tf, настройка параллелизма через repartition. Отдельный раздел про батч-инференс: модель грузится один раз на воркер, предсказания пишутся в Parquet.
Для работы нужны зависимости ray[data], pyarrow и pandas — без них примеры из скилла не запустятся. Автор советует брать Ray Data для датасетов от 100 ГБ и распределённого препроцессинга, а для таблиц меньше 1 ГБ на одной машине предлагает Pandas, для SQL-подобных операций — Dask или Spark. Это повод проверить, тянет ли ваш пайплайн переход на кластер.
Какие задачи решает
- обработать датасет, который не влезает в память одной машины
- прогнать батч-инференс по миллионам записей на нескольких GPU
- собрать пайплайн препроцессинга из чтения, чистки и токенизации
- загрузить изображения и другой мультимодальный контент для обучения
- отдать датасет напрямую в Ray Train, PyTorch или TensorFlow
Примеры запросов агенту
- прочитай Parquet из s3://bucket/train/ и прогони батч-инференс на 4 GPU
- собери пайплайн: очистка, токенизация, запись результата в Parquet
- переведи датасет в формат PyTorch через to_torch для обучения
Как установить data-processing-ray-data
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/data-processing-ray-data2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill data-processing-ray-data -a claude-code3Вручную: положить файлы
~/.claude/skills/data-processing-ray-data/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/data-processing-ray-data/
Вручную: положить файлы
.agents/skills/data-processing-ray-data/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/data-processing-ray-data/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates data-processing-ray-data2Вручную: положить файлы
.github/skills/data-processing-ray-data/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/data-processing-ray-dataВручную: положить файлы
.devin/skills/data-processing-ray-data/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о data-processing-ray-data
Как установить data-processing-ray-data в Claude?
Через шаблоны: npx claude-code-templates@latest --skill ai-research/data-processing-ray-data. Второй способ — npx skills add davila7/claude-code-templates --skill data-processing-ray-data -a claude-code. Файл скилла окажется в ~/.claude/skills/data-processing-ray-data/SKILL.md.
Что делает data-processing-ray-data?
Даёт агенту инструкцию по Ray Data: чтение и запись Parquet, CSV, JSON и изображений, трансформации батчами, GPU-препроцессинг и распределённый батч-инференс.
Что нужно для работы скилла?
Зависимости ray[data], pyarrow и pandas. Без них примеры из инструкции не выполнятся.
