# apache-spark-data-processing

Скилл, который подсказывает агенту, как писать код Apache Spark: RDD, DataFrames, Spark SQL, стриминг, MLlib и выкладка в прод.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 480 установок · ★ 62
- Автор: manutej
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/manutej/luxor-claude-marketplace/tree/HEAD/plugins/luxor-data-engineering/skills/apache-spark-data-processing/SKILL.md
- Обновлён: 2026-06-13
- HTML: https://affpapa.org/nevibecode/skills/apache-spark-data-processing

## Что делает

Скилл разбирает работу со Spark по слоям: сначала RDD как базовая абстракция с ленивыми трансформациями и действиями, потом DataFrames и Datasets с оптимизатором Catalyst. Дальше Spark SQL, broadcast-переменные и аккумуляторы, стриминг и MLlib. Агент опирается на эти материалы, когда вы просите собрать пайплайн или разобрать чужой код.

Внутри есть разделы про ленивое вычисление, партиционирование и кэширование с уровнями хранения — от `MEMORY_ONLY` до `DISK_ONLY`. Отдельно описано, когда кэш не нужен: если данные читаются один раз или не влезают в память кластера, он только мешает.

Скилл сам по себе не запускает Spark и не заменяет кластер. Он даёт агенту контекст, поэтому толку от него мало, если у вас нет рабочего окружения Spark и понимания, на каком кластере вы считаете. Для наборов меньше 100 ГБ, простого CRUD и задач с задержкой ниже 10 мс авторы прямо советуют другие инструменты.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/apache-spark-data-processing/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/apache-spark-data-processing/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/apache-spark-data-processing/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/apache-spark-data-processing/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install manutej/luxor-claude-marketplace apache-spark-data-processing
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/apache-spark-data-processing/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/manutej/luxor-claude-marketplace --path plugins/luxor-data-engineering/skills/apache-spark-data-processing
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/apache-spark-data-processing/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add manutej/luxor-claude-marketplace --skill apache-spark-data-processing -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/manutej/luxor-claude-marketplace/tree/HEAD/plugins/luxor-data-engineering/skills/apache-spark-data-processing/SKILL.md

## Когда брать
- Написать пайплайн обработки данных на PySpark с нуля
- Разобраться, когда брать RDD, а когда DataFrame
- Настроить партиционирование и кэш под нагрузку
- Собрать стриминговую обработку потока
- Обучить модель на большом датасете через MLlib

## Примеры запросов агенту
- Собери пайплайн на PySpark: прочитай Parquet, почисти данные и посчитай агрегаты по дням
- Почему мой джойн тормозит? Посмотри партиционирование и скажи, что поменять
- Перепиши этот код с RDD на DataFrame и объясни, что даст Catalyst

## Похожие
- [xlsx](https://affpapa.org/nevibecode/skills/xlsx.md) — скилл · 187223 установки
- [google-agents-cli-observability](https://affpapa.org/nevibecode/skills/google-agents-cli-observability.md) — скилл · 511300 установок
- [caveman-evidence-review](https://affpapa.org/nevibecode/skills/caveman-evidence-review.md) — скилл · 104500 установок
- [migration](https://affpapa.org/nevibecode/skills/migration.md) — скилл · 103900 установок
- [performance-optimization](https://affpapa.org/nevibecode/skills/performance-optimization.md) — скилл · 65200 установок
- [supabase](https://affpapa.org/nevibecode/skills/supabase.md) — скилл · 8 установок

Из того же набора: [manutej/luxor-claude-marketplace](https://affpapa.org/nevibecode/by/manutej/luxor-claude-marketplace.md) — 38 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md