К основному содержанию
скилл CX Codex

data-pipeline-engineer — скилл для Claude Code: обзор и установка

Скилл data-pipeline-engineer проектирует пайплайны данных, слои Medallion, DAG для Airflow и модели dbt. Пригодится при настройке пакетной или потоковой обработки данных.

MIT 215 установок ★ 274 обновлён 2026-09-06

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add curiositech/some_claude_skills --skill data-pipeline-engineer -a claude-code
Открыть на GitHub

Что делает data-pipeline-engineer

Скилл специализируется на задачах ETL и ELT. Он проектирует хранилища по слоям Bronze, Silver и Gold, конфигурирует стриминг в Kafka и Spark Streaming, а также формирует витрины с помощью dbt. Для контроля качества подключаются тесты dbt и проверки Great Expectations.

В репозиторий входят шаблоны DAG для Airflow, скрипты связки Kafka с Delta Lake и валидатор ./scripts/validate-pipeline.sh. Скрипт проверяет структуру проекта dbt и настройки Spark. Доступ к терминалу ограничен: разрешён запуск только dbt, spark-submit, airflow и python.

Этот инструмент не предназначен для сборки API, обучения ML-моделей или верстки дашбордов. Для интеграций с API автор советует подключать скилл api-architect.

Какие задачи решает

  • Спроектировать слои данных Medallion для аналитического хранилища
  • Написать DAG в Apache Airflow с сенсорами и автоматическими повторами
  • Реализовать потоковую обработку событий из Kafka в Delta Lake
  • Внедрить автоматические проверки качества данных через Great Expectations

Примеры запросов агенту

  • Спроектируй структуру каталогов dbt для слоёв staging, intermediate и marts
  • Напиши DAG для Airflow с сенсором входящих файлов и экспоненциальным бэкоффом
  • Добавь водяные знаки для обработки запаздывающих событий в скрипт Spark Streaming

Как установить data-pipeline-engineer

1Через Skills CLI (Vercel)

npx skills add curiositech/some_claude_skills --skill data-pipeline-engineer -a claude-code

2Вручную: положить файлы

~/.claude/skills/data-pipeline-engineer/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/data-pipeline-engineer/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о data-pipeline-engineer

Как установить data-pipeline-engineer в Claude Code?

Выполните команду npx skills add curiositech/some_claude_skills --skill data-pipeline-engineer -a claude-code. Конфигурация запишется в ~/.claude/skills/data-pipeline-engineer/SKILL.md.

Что делает data-pipeline-engineer?

Он генерирует архитектурные схемы и код для витрин dbt, задач Airflow, потоков Spark и проверок качества данных.

Подходит ли скилл для обучения моделей ML или создания API?

Нет. Скилл прямо исключает разработку API, обучение моделей машинного обучения и дашборды, концентрируясь только на пайплайнах данных.

Исходный текст

SKILL.md · MIT
---
name: data-pipeline-engineer
description: 'Expert data engineer for ETL/ELT pipelines, streaming, data warehousing. Activate on: data pipeline, ETL, ELT, data warehouse, Spark, Kafka, Airflow, dbt, data modeling, star schema, streaming
  data, batch processing, data quality. NOT for: API design (use api-architect), ML training (use ML skills), dashboards (use design skills).'
allowed-tools: Read,Write,Edit,Bash(dbt:*,spark-submit:*,airflow:*,python:*)
metadata:
  category: Data & Analytics
  pairs-with:
  - skill: api-architect
    reason: APIs that consume pipeline data
  - skill: devops-automator
    reason: Orchestrate pipeline infrastructure
  tags:
  - etl
  - spark
  - kafka
  - airflow
  - data-warehouse
---

# Data Pipeline Engineer

Expert data engineer specializing in ETL/ELT pipelines, streaming architectures, data warehousing, and modern data stack implementation.

## Quick Start

1. **Identify sources** - data formats, volumes, freshness requirements
2. **Choose architecture** - Medallion (Bronze/Silver/Gold), Lambda, or Kappa
3. **Design layers** - staging → intermediate → marts (dbt pattern)
4. **Add quality gates** - Great Expectations or dbt tests at each layer
5. **Orchestrate** - Airflow DAGs with sensors and retries
6. **Monitor** - lineage, freshness, anomaly detection

## Core Capabilities

| Capability | Technologies | Key Patterns |
|------------|--------------|--------------|
| **Batch Processing** | Spark, dbt, Databricks | Incremental, partitioning, Delta/Iceberg |
| **Stream Processing** | Kafka, Flink, Spark Streaming | Watermarks, exactly-once, windowing |
| **Orchestration** | Airflow, Dagster, Prefect | DAG design, sensors, task groups |
| **Data Modeling** | dbt, SQL | Kimball, Data Vault, SCD |
| **Data Quality** | Great Expectations, dbt tests | Validation suites, freshness |

## Architecture Patterns

### Medallion Architecture (Recommended)
```
BRONZE (Raw)     → Exact source copy, schema-on-read, partitioned by ingestion
      ↓ Cleaning, Deduplication
SILVER (Cleansed) → Validated, standardized, business logic applied
      ↓ Aggregation, Enrichment
GOLD (Business)   → Dimensional models, aggregates, ready for BI/ML
```

### Lambda vs Kappa
- **Lambda**: Batch + Stream layers → merged serving layer (complex but complete)
- **Kappa**: Stream-only with replay → simpler but requires robust streaming

## Reference Examples

Full implementation examples in `./references/`:

| File | Description |
|------|-------------|
| `dbt-project-structure.md` | Complete dbt layout with staging, intermediate, marts |
| `airflow-dag.py` | Production DAG with sensors, task groups, quality checks |
| `spark-streaming.py` | Kafka-to-Delta processor with windowing |
| `great-expectations-suite.json` | Comprehensive data quality expectation suite |

## Anti-Patterns (10 Critical Mistakes)

### 1. Full Table Refreshes
**Symptom**: Truncate and rebuild entire tables every run
**Fix**: Use incremental models with `is_incremental()`, partition by date

### 2. Tight Coupling to Source Schemas
**Symptom**: Pipeline breaks when upstream adds/removes columns
**Fix**: Explicit source contracts, select only needed columns in staging

### 3. Monolithic DAGs
**Symptom**: One 200-task DAG running 8 hours
**Fix**: Domain-specific DAGs, ExternalTaskSensor for dependencies

### 4. No Data Quality Gates
**Symptom**: Bad data reaches production before detection
**Fix**: Great Expectations or dbt tests at each layer, block on failures

### 5. Processing Before Archiving
**Symptom**: Raw data transformed without preserving original
**Fix**: Always land raw in Bronze first, make transformations reproducible

### 6. Hardcoded Dates in Queries
**Symptom**: Manual updates needed for date filters
**Fix**: Use Airflow templating (e.g., `ds` variable) or dynamic date functions

### 7. Missing Watermarks in Streaming
**Symptom**: Unbounded state growth, OOM in long-running jobs
**Fix**: Add `withWatermark()` to handle late-arriving data

### 8. No Retry/Backoff Strategy
**Symptom**: Transient failures cause DAG failures
**Fix**: `retries=3`, `retry_exponential_backoff=True`, `max_retry_delay`

### 9. Undocumented Data Lineage
**Symptom**: No one knows where data comes from or who uses it
**Fix**: dbt docs, data catalog integration, column-level lineage

### 10. Testing Only in Production
**Symptom**: Bugs discovered by stakeholders, not engineers
**Fix**: dbt `--target dev`, sample datasets, CI/CD for models

## Quality Checklist

**Pipeline Design:**
- [ ] Incremental processing where possible
- [ ] Idempotent transformations (re-runnable safely)
- [ ] Partitioning strategy defined and documented
- [ ] Backfill procedures documented

**Data Quality:**
- [ ] Tests at Bronze layer (schema, nulls, ranges)
- [ ] Tests at Silver layer (business rules, referential integrity)
- [ ] Tests at Gold layer (aggregation checks, trend monitoring)
- [ ] Anomaly detection for volumes and distributions

**Orchestration:**
- [ ] Retry and alerting configured
- [ ] SLAs defined and monitored
- [ ] Cross-DAG dependencies use sensors
- [ ] max_active_runs prevents parallel conflicts

**Operations:**
- [ ] Data lineage documented
- [ ] Runbooks for common failures
- [ ] Monitoring dashboards for pipeline health
- [ ] On-call procedures defined

## Validation Script

Run `./scripts/validate-pipeline.sh` to check:
- dbt project structure and conventions
- Airflow DAG best practices
- Spark job configurations
- Data quality setup

## External Resources

- [dbt Best Practices](https://docs.getdbt.com/guides/best-practices)
- [Airflow Best Practices](https://airflow.apache.org/docs/apache-airflow/stable/best-practices.html)
- [Great Expectations Docs](https://docs.greatexpectations.io/)
- [Delta Lake Guide](https://docs.delta.io/latest/index.html)
- [Kafka Streams](https://kafka.apache.org/documentation/streams/)

© curiositech · MIT · curiositech/some_claude_skills

Похожие скиллы

Все скиллы по теме «Данные и базы» →
senior-data-engineer borghei Скилл senior-data-engineer для Claude Code и Codex помогает проектировать пайплайны данных и проверять их качество. Генерирует DAG для Airflow, Prefect и Dagster, анализирует SQL и находит аномалии в CSV. CX Codex +1 199установок data-engineer davila7 Скилл data-engineer для Claude Code помогает проектировать пакетные и потоковые конвейеры данных. Он подключается к задачам по хранилищам, качеству данных и оркестрации. CX Codex +1 152установок data-engineering travisjneuman Скилл data-engineering для Claude Code помогает проектировать конвейеры данных и схемы хранилищ. Включается при настройке ETL/ELT, потоковой обработки и преобразований dbt. CX Codex +1 105установок data-pipeline Seth Hobson Команда data-pipeline для Claude Code проектирует и собирает пакетные и потоковые пайплайны данных. Она включается в задачах на загрузку, преобразование и контроль качества данных. CX Codex +1 ★ 42 780звёзд репо etl-pipeline-builder a5c-ai Скилл etl-pipeline-builder помогает проектировать и настраивать ETL-конвейеры миграции данных с инкрементальной загрузкой, CDC и мониторингом. CX Codex +1 1установок discover-data rand Скилл discover-data для Claude Code находит инструкции по ETL и пайплайнам. Включается при работе с Airflow, потоковой обработкой, пакетными задачами и валидацией данных. CX Codex +1 101установок

Из того же набора180

Весь набор →
prompt-engineer Скилл prompt-engineer для проектирования и отладки промптов. Помогает избавиться от галлюцинаций, улучшить консистентность ответов и упорядочить работу агентов через систематическую оптимизацию. CX Codex +1 217установок team-builder Скилл team-builder проектирует структуру команды по принципам организационной психологии. Если нужной роли нет в библиотеке скиллов, сразу создаёт её. CX Codex +1 216установок react-performance-optimizer Скилл react-performance-optimizer находит узкие места в рендере React-приложений для достижения 60fps. Решает проблемы с зависанием списков и раздутыми бандлами. CX Codex +1 215установок digital-estate-planner Скилл digital-estate-planner для Claude Code планирует цифровое наследство: учитывает аккаунты, пароли и криптоактивы, готовит инструкции доверенным лицам. Помогает подготовить доступ к данным на случай смерти или недееспособности. CX Codex +1 215установок hipaa-compliance Скилл hipaa-compliance помогает проверять работу с PHI: аудит доступа, санитаризацию логов и требования к сессиям. Нужен при разработке функций с медицинскими данными. CX Codex +1 215установок web-wave-designer Скилл web-wave-designer для Claude Code генерирует водные эффекты для веба: океанские волны, рябь и подводное искажение. Создаёт живые фоны и интерфейсы с эффектом жидкости. CX Codex +1 214установок test-automation-expert Скилл test-automation-expert для Claude Code помогает выстроить стратегию тестирования, определить покрытие, выбрать фреймворк и отладить флаки-тесты. CX Codex +1 212установок very-long-text-summarization Скилл very-long-text-summarization для обработки книг, справочников и больших кодбаз через многоуровневое извлечение знаний. Выдаёт карту знаний, а не просто сжатый пересказ. CX Codex +1 210установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой