# databricks-pipelines

Помогает проектировать пайплайны Lakeflow Declarative Pipelines на Databricks через Python или SQL. Задаёт правила для таблиц и Auto CDC до написания кода.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 987 установок · ★ 368
- Автор: databricks
- Лицензия: LicenseRef-Unknown · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/databricks/databricks-agent-skills/tree/HEAD/skills/databricks-pipelines/SKILL.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/databricks-pipelines

## Что делает

Скилл задаёт архитектуру конвейеров Lakeflow Spark Declarative Pipelines (ранее известных как Delta Live Tables). Он определяет правила выбора между Streaming Table и Materialized View, чтобы агент не пытался агрегировать потоковые данные через append-only таблицы. Для промежуточных вычислений скилл форсирует использование Temporary View, а объединение потоков предписывает выполнять через Append Flows вместо `UNION`.

Для фиксации изменений из потоков или снапшотов инструмент настраивает Auto CDC. Работа со снимками через SQL `AUTO CDC FROM SNAPSHOT` требует DBR 18.3+, тогда как на более ранних версиях рантайма придётся задействовать Python-вызов `dp.create_auto_cdc_from_snapshot_flow`. Выгрузка в сторонние системы вроде Kafka или Event Hubs через Sinks поддерживается исключительно на Python.

Перед началом работы потребуется установить `databricks CLI` версии не ниже 1.0.0 и настроить базовый скилл `databricks-core`. Сменить тип таблицы на лету не получится. Если перепутать Streaming Table и Materialized View, полный перезапуск пайплайна не спасёт — объект придётся удалять вручную.

## Требования
- Работает с: Databricks

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-pipelines -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/databricks-pipelines/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/databricks-pipelines/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-pipelines -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/databricks-pipelines/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-pipelines -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/databricks-pipelines/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install databricks/databricks-agent-skills databricks-pipelines
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/databricks-pipelines/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-pipelines -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/databricks/databricks-agent-skills --path skills/databricks-pipelines
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/databricks-pipelines/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-pipelines -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/databricks/databricks-agent-skills/tree/HEAD/skills/databricks-pipelines/SKILL.md

## Когда брать
- выбрать правильный тип между Streaming Table и Materialized View
- настроить Auto CDC для обработки потоков событий или периодических снимков
- организовать объединение нескольких потоков данных в одну таблицу через Append Flows
- настроить экспорт данных в Kafka или Event Hubs через Python-синки
- предотвратить ошибки синтаксиса `CREATE OR REFRESH` и неподдерживаемые типы колонок в `CLUSTER BY`

## Примеры запросов агенту
- Помоги спроектировать Streaming Table на Databricks с приёмом файлов через Auto Loader и проверками Expectations.
- Напиши пайплайн на SQL для обработки периодических снапшотов с помощью AUTO CDC FROM SNAPSHOT.
- Как объединить два потока данных в одну таблицу без использования union в Lakeflow Pipelines?

## Похожие
- [sql-queries](https://affpapa.org/nevibecode/skills/sql-queries.md) — скилл · 4500 установок
- [migrating-dbt-project-across-platforms](https://affpapa.org/nevibecode/skills/migrating-dbt-project-across-platforms.md) — скилл · 526 установок
- [neon-ai-gateway](https://affpapa.org/nevibecode/skills/neon-ai-gateway.md) — скилл · 27700 установок
- [integration-eventing-cdc-configure](https://affpapa.org/nevibecode/skills/integration-eventing-cdc-configure.md) — скилл · 5100 установок
- [amazon-keyspaces](https://affpapa.org/nevibecode/skills/amazon-keyspaces.md) — скилл · 5000 установок
- [etl-connector-strategy](https://affpapa.org/nevibecode/skills/etl-connector-strategy.md) — скилл · 8000 установок

Из того же набора: [databricks/databricks-agent-skills](https://affpapa.org/nevibecode/by/databricks/databricks-agent-skills.md) — 7 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md