К основному содержанию
скилл CX Codex

data-pipeline-builder — скилл для Claude Code: ETL/ELT и установка

Скилл data-pipeline-builder проектирует и собирает ETL/ELT-пайплайн: код на Python или SQL, DAG для Airflow, проверки качества и спецификацию в data-pipeline-spec.md.

MIT 252 установок ★ 440 обновлён 2026-10-20

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add OneWave-AI/claude-skills --skill data-pipeline-builder -a claude-code
Открыть на GitHub

Что делает data-pipeline-builder

Скилл ведёт от постановки до готового пайплайна. Сначала спрашивает про источники, приёмник, преобразования и частоту обновления, потом проектирует схему и пишет файлы. Внутри пять справочников: структура проекта, шаблоны на Python, проверки качества, конфиг оркестрации, шаблон спецификации.

Дизайн показывается до кода. Пока вы не подтвердите архитектуру, список источников, расписание и quality gates, генерация не начнётся. Иначе получите пачку классов, которые придётся переписывать. На выходе экстракторы от BaseExtractor, трансформеры на Python или SQL, лоадеры от BaseLoader, DAG со связями задач, YAML-конфиг, тесты и data-pipeline-spec.md.

В правилах зашиты идемпотентность шагов, watermark для инкрементальных прогонов, dead letter для записей, которые не прошли обработку, и реакция на изменение схемы источника. Креды только через переменные окружения или секрет-менеджеры. В наборе инструментов есть Bash, поэтому скилл сам прогоняет тесты и команды окружения. Трансформации, которые выражаются на SQL, он оставляет на SQL.

Какие задачи решает

  • Собрать пайплайн из нескольких источников с нуля и не забыть про повторные запуски
  • Описать схему хранилища с партиционированием и кластеризацией до написания кода
  • Добавить проверки качества данных и пороги для алертов
  • Настроить инкрементальную загрузку с watermark и обработкой битых записей
  • Получить спеку пайплайна с планом бэкфилла и разбором типовых сбоев

Примеры запросов агенту

  • Собери ETL-пайплайн: источник — таблица orders в Postgres, приёмник — ClickHouse, обновление раз в час
  • Покажи дизайн пайплайна и список преобразований, код генерируй после моего подтверждения
  • Добавь в пайплайн проверки качества и dead letter для событий из API /v1/events

Как установить data-pipeline-builder

1Через Skills CLI (Vercel)

npx skills add OneWave-AI/claude-skills --skill data-pipeline-builder -a claude-code

2Вручную: положить файлы

~/.claude/skills/data-pipeline-builder/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/data-pipeline-builder/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о data-pipeline-builder

Как установить data-pipeline-builder в Claude Code?

Выполните npx skills add OneWave-AI/claude-skills --skill data-pipeline-builder -a claude-code. Скилл окажется по пути ~/.claude/skills/data-pipeline-builder/SKILL.md.

Что делает data-pipeline-builder?

Принимает источники, приёмник и требования к преобразованиям, затем выдаёт рабочий код пайплайна с оркестрацией, проверками качества и спецификацией.

Какой стек нужен для работы скилла?

Он спрашивает про предпочтения по технологиям, включая Airflow, dbt и Spark, и под них подбирает компоненты. Оркестрация описывается через Airflow DAG, конфиг лежит в YAML.

Исходный текст

SKILL.md · MIT
---
name: data-pipeline-builder
description: Designs and builds ETL/ELT data pipelines. Takes data sources, destination, transformation requirements. Generates pipeline code (Python/SQL), scheduling config, error handling, monitoring setup, and data quality checks. Outputs data-pipeline-spec.md + implementation files.
tools: Read, Write, Edit, Glob, Grep, Bash
model: inherit
---

# Data Pipeline Builder

Design and implement production-grade ETL/ELT data pipelines: take data sources, a destination, and transformation requirements, then produce a complete pipeline specification plus all implementation files needed to run it.

## Contents

- `references/project-structure.md` -- output file layout, architecture pattern selection, component selection.
- `references/python-patterns.md` -- Python code standards and base extractor/transformer/loader/retry patterns.
- `references/quality-checks.md` -- composable data quality check framework and built-in checks.
- `references/orchestration-config.md` -- Airflow DAG, pipeline config YAML, and monitoring/alerting patterns.
- `references/spec-template.md` -- the `data-pipeline-spec.md` output template.

## Workflow

1. Gather requirements. If the user gave clear requirements, proceed to design. Otherwise ask targeted questions: data sources (databases, APIs, files, streams); destination (warehouse, lake, database); transformations (joins, aggregations, filters, business rules); freshness requirement (real-time, hourly, daily); technology preferences (Airflow, dbt, Spark, cloud provider); data quality and compliance requirements.

2. Analyze and design. Catalog each source (connection type, auth, schema, volume, CDC availability, rate limits). Define the destination (platform, schema design, partitioning, clustering, access patterns). Map transformations (field mappings, business logic, type conversions, joins, aggregations, deduplication, SCD handling, derived fields). Establish non-functional requirements (freshness SLA, processing window, failure tolerance, retention, compliance). Select an architecture pattern and components per `references/project-structure.md`.

3. Present the design before generating code. Confirm architecture, sources, destination, schedule, key transformations, and quality gates with the user, then proceed on approval.

4. Generate implementation. Produce all files following the layout in `references/project-structure.md`, customized to the specific pipeline with no placeholder code requiring manual editing:
   - For each source, generate a concrete extractor inheriting from `BaseExtractor` (see `references/python-patterns.md`).
   - For each transformation, generate a concrete transformer class or SQL file.
   - For each destination, generate a concrete loader inheriting from `BaseLoader`.
   - Generate the Airflow DAG with all task dependencies wired up and the pipeline config YAML (see `references/orchestration-config.md`).
   - Generate quality checks tailored to the data and monitoring config with appropriate alert thresholds (see `references/quality-checks.md` and `references/orchestration-config.md`).
   - Generate tests for all custom business logic.

5. Generate the specification last. Produce `data-pipeline-spec.md` using `references/spec-template.md`, referencing all implementation files and incorporating design decisions made during the process.

## Operating Rules

- Design for idempotency -- make every step safely re-runnable.
- Include watermark/checkpoint tracking for incremental pipelines.
- Include dead letter handling for records that fail processing.
- Include schema evolution handling -- sources will change their schemas.
- Never hardcode credentials -- use environment variables or secret managers.
- Never skip quality checks -- they are the first line of defense against bad data.
- Prefer SQL for transformations expressible in SQL; use Python for complex logic that does not map cleanly to SQL.
- Include a backfill strategy and an operational runbook covering common failure scenarios in the spec.
- Use structured logging throughout and track data lineage at every transformation step.

© OneWave-AI · MIT · OneWave-AI/claude-skills

Похожие скиллы

Все скиллы по теме «Данные и базы» →
data-engineering-study-material reason-machines Скилл data-engineering-study-material для Claude Code объясняет концепции дата-инженерии и показывает примеры пайплайнов. Включается при изучении темы и подготовке к собеседованию. CX Codex +1 2 000установок data-engineering travisjneuman Скилл data-engineering для Claude Code помогает проектировать конвейеры данных и схемы хранилищ. Включается при настройке ETL/ELT, потоковой обработки и преобразований dbt. CX Codex +1 105установок checking-freshness astronomer Скилл checking-freshness смотрит, когда таблица обновлялась в последний раз, и говорит, можно ли на этих данных строить отчёт. CX Codex +1 1 100установок Data Pipeline taste f Промпт Data Pipeline taste для ChatGPT и Claude.ai задаёт инженерные правила проектирования пайплайнов данных. Помогает проектировать хранилища по схеме ELT и настраивать трансформации. GP ChatGPT ★ 178 201звёзд репо harvard-artifacts-data-engineering-pipeline reason-machines Скилл harvard-artifacts-data-engineering-pipeline строит ETL-конвейер для данных Harvard Art Museums: забирает артефакты через API, раскладывает по SQL-таблицам и выводит на дашборд Streamlit. CX Codex +1 2 000установок data-pipeline-engineer curiositech Скилл data-pipeline-engineer проектирует пайплайны данных, слои Medallion, DAG для Airflow и модели dbt. Пригодится при настройке пакетной или потоковой обработки данных. CX Codex +1 215установок

Из того же набора185

Весь набор →
cowork-deal-room Скилл cowork-deal-room разбирает документы сделки по пяти этапам и собирает отчёт о рисках, условиях, находках и пунктах для переговоров. CX Codex +1 253установок lead-scoring-model Скилл lead-scoring-model анализирует историю закрытых сделок и строит модель оценки лидов, привязанную к реальным данным вашей компании. Генерирует документацию с размерами оценки, пороговыми значениями и инструкциями по внедрению в CRM. CX Codex +1 253установок incident-responder Скилл incident-responder помогает расследовать сбои: проверяет логи и недавние изменения, оценивает серьёзность и готовит отчёт с причиной и мерами профилактики. Пригодится во время инцидента и после восстановления. CX Codex +1 253установок runbook-generator Скилл runbook-generator для Claude Code анализирует код, конфигурацию инфраструктуры и скрипты деплоя, затем создаёт операционный runbook.md. Документ описывает выкладку, реагирование на инциденты и восстановление. CX Codex +1 252установок roi-calculator Скилл roi-calculator считает окупаемость внедрения ИИ по вашим затратам, ручным часам и ставкам, а затем пишет отчёт с окупаемостью и сценариями. CX Codex +1 252установок investor-update-writer Скилл investor-update-writer собирает ежемесячные и квартальные отчёты для инвесторов в файл investor-update.md на основе метрик, финансов и новостей команды. CX Codex +1 252установок onboarding-checklist Создаёт поэтапный чек-лист онбординга клиентов в файле onboarding-checklist.md с шаблонами писем и распределением ролей под консалтинг, SaaS или агентство. CX Codex +1 251установок multi-agent-client-onboarding Скилл multi-agent-client-onboarding собирает оценку клиента через трёх параллельных агентов: аудитора процессов, картографа стека и автора стратегии. Подходит для первичного консалтингового разбора. CX Codex +1 251установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой