К основному содержанию
скилл CX Codex

etl-pipeline-builder — скилл для Claude Code: обзор и установка

Скилл etl-pipeline-builder помогает проектировать и настраивать ETL-конвейеры миграции данных с инкрементальной загрузкой, CDC и мониторингом.

MIT 1 установок ★ 1 931 обновлён 2026-09-16

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a claude-code
Открыть на GitHub

Что делает etl-pipeline-builder

Скилл генерирует конфигурации и скрипты для переноса данных между базами. Он раскладывает задачу на шаги: сопоставляет схемы источника и приёмника, описывает правила приведения типов, настраивает инкрементальную перегрузку через вотермарки или сбор изменений через CDC.

В процессе работы инструмент подготавливает артефакты под конкретный стек: DAG-файлы для Apache Airflow, SQL-модели dbt, параметры для Debezium, AWS DMS или вызовы к API Airbyte и Fivetran. На выходе формируется JSON-манифест со структурой пайплайна, путями к созданным файлам и расписанием запусков.

Для генерации рабочих сценариев агенту нужен прямой доступ к файловой системе через встроенные инструменты Bash, Read и Write. Если в проекте не определены схемы источников или целевой базы, агент не сможет вывести точный маппинг колонок без предварительного сравнения схем.

Какие задачи решает

  • Спроектировать маппинг колонок между несовпадающими схемами таблиц
  • Настроить инкрементальную загрузку данных по вотермаркам и датам
  • Сформировать конфигурацию CDC через Debezium или триггеры
  • Сгенерировать DAG для Apache Airflow под задачу миграции
  • Настроить dead-letter queue и алерты при сбоях в пайплайне

Примеры запросов агенту

  • Настрой ETL-пайплайн для переноса таблицы orders из Postgres в Snowflake через dbt и инкрементальные вотермарки
  • Сгенерируй DAG для Airflow с логикой слияния данных и очередью ошибок dead letter queue
  • Подготовь конфигурацию Debezium для CDC-репликации изменений пользователей в Kafka

Как установить etl-pipeline-builder

1Через Skills CLI (Vercel)

npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a claude-code

2Вручную: положить файлы

~/.claude/skills/etl-pipeline-builder/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/etl-pipeline-builder/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об etl-pipeline-builder

Как установить etl-pipeline-builder в Claude Code?

Выполните команду npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a claude-code. Второй вариант — вручную положить файл скилла по пути ~/.claude/skills/etl-pipeline-builder/SKILL.md.

Какие инструменты интеграции поддерживает этот скилл?

Скилл умеет генерировать артефакты для Apache Airflow на Python, dbt через CLI, Debezium через конфигурационные файлы, AWS DMS, а также интеграции с Airbyte и Fivetran по API.

Что входит в выходной результат работы скилла?

Формируется JSON-объект со схемой пайплайна, маппингами колонок, расписанием, а также готовые файлы DAG, конфигурации и SQL-скрипты.

Исходный текст

SKILL.md · MIT
---
name: etl-pipeline-builder
description: Build and manage ETL pipelines for data migration with transformation, CDC, and monitoring
allowed-tools: ["Bash", "Read", "Write", "Grep", "Glob", "Edit"]
graph:
  domains: [domain:software-engineering]
  specializations: [specialization:code-migration-modernization]
  skillAreas: [skill-area:etl-pipelines, skill-area:database-migrations-zero-downtime]
  roles: [role:data-engineer, role:backend-engineer]
  workflows: [workflow:technical-debt-reduction]
  topics: [topic:refactoring]
---

# ETL Pipeline Builder Skill

Builds and manages ETL (Extract, Transform, Load) pipelines for data migration, supporting incremental loads, CDC, and comprehensive monitoring.

## Purpose

Enable data pipeline creation for:
- Source-to-target mapping
- Transformation definition
- Incremental load setup
- CDC configuration
- Pipeline monitoring

## Capabilities

### 1. Source-to-Target Mapping
- Define column mappings
- Handle schema differences
- Configure data type conversions
- Manage derived columns

### 2. Transformation Definition
- Data type transformations
- Value mappings
- Aggregations
- Lookups and enrichments

### 3. Incremental Load Setup
- Define watermarks
- Configure incremental columns
- Handle deletes
- Manage merge logic

### 4. CDC Configuration
- Log-based CDC
- Trigger-based CDC
- Timestamp-based CDC
- Full load comparison

### 5. Error Handling
- Define retry policies
- Configure dead letter queues
- Handle data quality issues
- Implement alerting

### 6. Pipeline Monitoring
- Track pipeline metrics
- Monitor data volumes
- Alert on failures
- Generate SLA reports

## Tool Integrations

| Tool | Type | Integration Method |
|------|------|-------------------|
| Apache Airflow | Orchestration | Python |
| dbt | Transformation | CLI |
| Airbyte | Data integration | API |
| Fivetran | SaaS ETL | API |
| AWS DMS | Cloud migration | CLI |
| Debezium | CDC | Config |

## Output Schema

```json
{
  "pipelineId": "string",
  "timestamp": "ISO8601",
  "pipeline": {
    "name": "string",
    "source": {},
    "target": {},
    "mappings": [],
    "transformations": [],
    "schedule": "string"
  },
  "artifacts": {
    "dagFile": "string",
    "configFile": "string",
    "sqlFiles": []
  },
  "deployment": {
    "status": "string",
    "url": "string"
  }
}
```

## Integration with Migration Processes

- **database-schema-migration**: Data movement
- **cloud-migration**: Cloud data pipelines
- **data-format-migration**: Format transformation

## Related Skills

- `data-migration-validator`: Validation
- `schema-comparator`: Schema mapping

## Related Agents

- `database-migration-orchestrator`: Pipeline orchestration
- `data-architect-agent`: Pipeline design

© a5c-ai · MIT · a5c-ai/babysitter

Похожие скиллы

Все скиллы по теме «Данные и базы» →
retail-etl-medallion-pipeline reason-machines Скилл retail-etl-medallion-pipeline для Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI и OpenCode — строит сквозной ETL-пайплайн по Medallion Architecture (Bronze/Silver/Gold) для розничных данных. CX Codex +1 1 800установок data-pipeline-engineer curiositech Скилл data-pipeline-engineer проектирует пайплайны данных, слои Medallion, DAG для Airflow и модели dbt. Пригодится при настройке пакетной или потоковой обработки данных. CX Codex +1 215установок etl-connector-strategy Samuel Berthe Скилл etl-connector-strategy помогает решить, стоит ли SaaS-продукту появляться источником в чужих ETL/ELT-каталогах, на какой платформе и какой путь сборки выбрать. CX Codex +1 10 400установок retail-etl-pipeline-medallion reason-machines Скилл retail-etl-pipeline-medallion разворачивает витрину данных розничной торговли на SQL Server и PySpark по архитектуре Medallion. Помогает настроить слои Bronze, Silver и Gold для продаж и остатков. CX Codex +1 1 800установок data-engineering travisjneuman Скилл data-engineering для Claude Code помогает проектировать конвейеры данных и схемы хранилищ. Включается при настройке ETL/ELT, потоковой обработки и преобразований dbt. CX Codex +1 105установок ETL Pipeline Claude Office Skills Скилл ETL Pipeline для Claude Code помогает проектировать и автоматизировать конвейеры извлечения, преобразования и загрузки данных. Он подключается к задачам интеграции источников и аналитики. CX Codex +1 4 900установок

Из того же набора37

Весь набор →
style-specification Скилл style-specification собирает подробную спецификацию музыкального стиля — жанр, BPM, инструменты, вокал, референсы — и сжимает её в промпт для Suno или Udio. CX Codex +1 1установок image-optimization Скилл image-optimization настраивает форматы WebP и AVIF, адаптивную разметку, ленивую загрузку и CDN для графики. Помогает фронтендеру ускорить отрисовку страниц и улучшить LCP. CX Codex +1 1установок license-compliance-checker Скилл license-compliance-checker проверяет лицензии зависимостей, совместимость с лицензией проекта и требования к атрибуции. Пригодится во время миграции или подготовки аудита. CX Codex +1 1установок Offensive Security Skill Скилл Offensive Security Skill подключает к сессии агента Metasploit, Cobalt Strike, Sliver и Havoc: планирование red-team работы, сборка payload'ов и разбор TTP после упражнения. CX Codex +1 1установок learning-analytics-interpretation Скилл learning-analytics-interpretation анализирует отчёты LMS, результаты оценивания и метрики вовлечённости. Он помогает находить учебные закономерности и выбирать, что менять в курсе. CX Codex +1 1установок audience-analytics Скилл audience-analytics разбирает данные о посетителях культурной организации: билеты, посещаемость, вовлечённость. На выходе — цифры, с которыми можно идти на планёрку по программам. CX Codex +1 1установок internal-comms-platform Скилл internal-comms-platform координирует корпоративные каналы связи, рассылки и публикации через Staffbase, Slack и Teams. Помогает планировать кампании внутренних коммуникаций и оценивать вовлечённость сотрудников. CX Codex +1 1установок highspot-content Скилл highspot-content помогает искать и отправлять материалы из Highspot, разбирать вовлечённость в питчи и работать с обучением и сценариями продаж. Нужна подписка Highspot. CX Codex +1 1установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой