apache-spark-data-processing — скилл для Claude Code
Скилл, который подсказывает агенту, как писать код Apache Spark: RDD, DataFrames, Spark SQL, стриминг, MLlib и выкладка в прод.
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a claude-codeЧто делает apache-spark-data-processing
Скилл разбирает работу со Spark по слоям: сначала RDD как базовая абстракция с ленивыми трансформациями и действиями, потом DataFrames и Datasets с оптимизатором Catalyst. Дальше Spark SQL, broadcast-переменные и аккумуляторы, стриминг и MLlib. Агент опирается на эти материалы, когда вы просите собрать пайплайн или разобрать чужой код.
Внутри есть разделы про ленивое вычисление, партиционирование и кэширование с уровнями хранения — от MEMORY_ONLY до DISK_ONLY. Отдельно описано, когда кэш не нужен: если данные читаются один раз или не влезают в память кластера, он только мешает.
Скилл сам по себе не запускает Spark и не заменяет кластер. Он даёт агенту контекст, поэтому толку от него мало, если у вас нет рабочего окружения Spark и понимания, на каком кластере вы считаете. Для наборов меньше 100 ГБ, простого CRUD и задач с задержкой ниже 10 мс авторы прямо советуют другие инструменты.
Какие задачи решает
- Написать пайплайн обработки данных на PySpark с нуля
- Разобраться, когда брать RDD, а когда DataFrame
- Настроить партиционирование и кэш под нагрузку
- Собрать стриминговую обработку потока
- Обучить модель на большом датасете через MLlib
Примеры запросов агенту
- Собери пайплайн на PySpark: прочитай Parquet, почисти данные и посчитай агрегаты по дням
- Почему мой джойн тормозит? Посмотри партиционирование и скажи, что поменять
- Перепиши этот код с RDD на DataFrame и объясни, что даст Catalyst
Как установить apache-spark-data-processing
1Через Skills CLI (Vercel)
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a claude-code2Вручную: положить файлы
~/.claude/skills/apache-spark-data-processing/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/apache-spark-data-processing/
1Через Skills CLI (Vercel)
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a codex2Вручную: положить файлы
.agents/skills/apache-spark-data-processing/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a cursor2Вручную: положить файлы
.cursor/skills/apache-spark-data-processing/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install manutej/luxor-claude-marketplace apache-spark-data-processing2Вручную: положить файлы
.github/skills/apache-spark-data-processing/SKILL.md1Через Skills CLI (Vercel)
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a gemini-cli2Командой платформы
gemini skills install https://github.com/manutej/luxor-claude-marketplace --path plugins/luxor-data-engineering/skills/apache-spark-data-processingВручную: положить файлы
.devin/skills/apache-spark-data-processing/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о apache-spark-data-processing
Как установить apache-spark-data-processing в Claude Code?
Выполните npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a claude-code. После этого файл скилла лежит по пути ~/.claude/skills/apache-spark-data-processing/SKILL.md.
Что делает этот скилл?
Даёт агенту справочник по Apache Spark: RDD, DataFrames, Spark SQL, стриминг, MLlib и выкладка в прод. Агент использует его, когда вы пишете или разбираете код обработки данных.
Когда Spark не подходит?
Для датасетов меньше 100 ГБ, простых CRUD-операций и задач с задержкой ниже 10 мс. В этих случаях авторы советуют обойтись без Spark.
