# data-pipeline

Слэш-команда для Claude, Codex и Cursor: помогает спроектировать пайплайн, написать код загрузки, dbt-модели и проверки качества данных.

- команда · `type=command` · Claude Code, Codex, Cursor · ★ 41729
- Автор: Seth Hobson
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/wshobson/agents/tree/HEAD/plugins/data-engineering/commands/data-pipeline.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/commands/data-pipeline

## Что делает

Команда `data-pipeline` разбирает задачу по шагам: сначала оценка источников, объёма и требований к задержке, затем выбор схемы — ETL, ELT, Lambda, Kappa или Lakehouse. Дальше идёт реализация: пакетная загрузка с watermark-колонками и ретраями, стриминг через Kafka с exactly-once, оркестрация в Airflow или Prefect.

Внутри есть разделы про трансформации в dbt (staging и marts, инкрементальные модели, тесты), про качество данных через Great Expectations и dbt-тесты, про хранилища Delta Lake и Iceberg с ACID-транзакциями. Отдельный блок — мониторинг и оптимизация затрат: партиционирование, размеры файлов Parquet, lifecycle-политики, выбор типа инстансов.

На выходе вы получаете документацию по архитектуре, код загрузки и трансформации, конфиги оркестрации и инфраструктуры, набор метрик и алертов, а также операционный гайд. Команда ожидает описание задачи в аргументах — без него она не знает, что именно проектировать. Стоит учесть: в примере кода используются собственные модули вроде `batch_ingestion` и `storage.delta_lake_manager`, их придётся написать самому или заменить на свои.

## Установка

### Claude Code (родная платформа)

1. **Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add wshobson/agents
```
В чате агента (не в терминале):
```text
/plugin install data-engineering@claude-code-workflows
```

2. **Вручную: положить файлы**
- Файл: `.claude/commands/data-pipeline.md` — Вызов — /data-pipeline. Для всех проектов — ~/.claude/commands/

### Codex

**Вручную: положить файлы**
- Файл: `~/.codex/prompts/data-pipeline.md` — Вызов — /prompts:data-pipeline. В Codex этот формат помечен устаревшим, замена — скиллы

### GitHub Copilot

**Вручную: положить файлы**
- Файл: `.github/prompts/data-pipeline.prompt.md`

### Gemini CLI

**Вручную: положить файлы**
- Файл: `.gemini/commands/data-pipeline.toml` — Gemini хранит команды в TOML: текст запроса — в поле prompt

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/wshobson/agents/tree/HEAD/plugins/data-engineering/commands/data-pipeline.md

## Когда брать
- спроектировать схему пайплайна под пакетную и потоковую обработку
- написать инкрементальную загрузку с watermark и обработкой ошибок
- собрать dbt-модели от staging до marts с тестами
- настроить проверки качества данных и алерты при сбоях
- выбрать стратегию хранения в Delta Lake или Iceberg

## Примеры запросов агенту
- Спроектируй пайплайн для загрузки заказов из Postgres в Delta Lake, батч раз в час
- Нужен стриминг из Kafka с exactly-once и оконными агрегациями, предложи архитектуру
- Собери dbt-модели staging и marts для таблицы orders и добавь тесты на уникальность

## Похожие
- [senior-data-engineer](https://affpapa.org/nevibecode/skills/senior-data-engineer.md) — скилл · 1109 установок
- [ETL Pipeline](https://affpapa.org/nevibecode/skills/etl-pipeline.md) — скилл · 4800 установок
- [bigquery-pipeline-audit](https://affpapa.org/nevibecode/skills/bigquery-pipeline-audit.md) — скилл · 8800 установок
- [data-engineer](https://affpapa.org/nevibecode/agents/voltagent-community-data-engineer.md) — субагент · 3194 установки
- [sap-hana-cloud-data-intelligence](https://affpapa.org/nevibecode/skills/sap-hana-cloud-data-intelligence.md) — скилл · 643 установки
- [data-engineering-study-material](https://affpapa.org/nevibecode/skills/data-engineering-study-material.md) — скилл · 2000 установок

Из того же набора: [wshobson/agents](https://affpapa.org/nevibecode/by/wshobson/agents.md) — 342 карточки

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md