etl-pipeline-builder — скилл для Claude Code: обзор и установка
Скилл etl-pipeline-builder помогает проектировать и настраивать ETL-конвейеры миграции данных с инкрементальной загрузкой, CDC и мониторингом.
MIT 1 установок ★ 1 931 обновлён 2026-09-16
npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a claude-codeЧто делает etl-pipeline-builder
Скилл генерирует конфигурации и скрипты для переноса данных между базами. Он раскладывает задачу на шаги: сопоставляет схемы источника и приёмника, описывает правила приведения типов, настраивает инкрементальную перегрузку через вотермарки или сбор изменений через CDC.
В процессе работы инструмент подготавливает артефакты под конкретный стек: DAG-файлы для Apache Airflow, SQL-модели dbt, параметры для Debezium, AWS DMS или вызовы к API Airbyte и Fivetran. На выходе формируется JSON-манифест со структурой пайплайна, путями к созданным файлам и расписанием запусков.
Для генерации рабочих сценариев агенту нужен прямой доступ к файловой системе через встроенные инструменты Bash, Read и Write. Если в проекте не определены схемы источников или целевой базы, агент не сможет вывести точный маппинг колонок без предварительного сравнения схем.
Какие задачи решает
- Спроектировать маппинг колонок между несовпадающими схемами таблиц
- Настроить инкрементальную загрузку данных по вотермаркам и датам
- Сформировать конфигурацию CDC через Debezium или триггеры
- Сгенерировать DAG для Apache Airflow под задачу миграции
- Настроить dead-letter queue и алерты при сбоях в пайплайне
Примеры запросов агенту
- Настрой ETL-пайплайн для переноса таблицы orders из Postgres в Snowflake через dbt и инкрементальные вотермарки
- Сгенерируй DAG для Airflow с логикой слияния данных и очередью ошибок dead letter queue
- Подготовь конфигурацию Debezium для CDC-репликации изменений пользователей в Kafka
Как установить etl-pipeline-builder
1Через Skills CLI (Vercel)
npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a claude-code2Вручную: положить файлы
~/.claude/skills/etl-pipeline-builder/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/etl-pipeline-builder/
1Через Skills CLI (Vercel)
npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a codex2Вручную: положить файлы
.agents/skills/etl-pipeline-builder/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a cursor2Вручную: положить файлы
.cursor/skills/etl-pipeline-builder/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install a5c-ai/babysitter library/specializations/code-migration-modernization/skills/etl-pipeline-builder2Вручную: положить файлы
.github/skills/etl-pipeline-builder/SKILL.md1Через Skills CLI (Vercel)
npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a gemini-cli2Командой платформы
gemini skills install https://github.com/a5c-ai/babysitter --path library/specializations/code-migration-modernization/skills/etl-pipeline-builderВручную: положить файлы
.devin/skills/etl-pipeline-builder/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы об etl-pipeline-builder
Как установить etl-pipeline-builder в Claude Code?
Выполните команду npx skills add a5c-ai/babysitter --skill etl-pipeline-builder -a claude-code. Второй вариант — вручную положить файл скилла по пути ~/.claude/skills/etl-pipeline-builder/SKILL.md.
Какие инструменты интеграции поддерживает этот скилл?
Скилл умеет генерировать артефакты для Apache Airflow на Python, dbt через CLI, Debezium через конфигурационные файлы, AWS DMS, а также интеграции с Airbyte и Fivetran по API.
Что входит в выходной результат работы скилла?
Формируется JSON-объект со схемой пайплайна, маппингами колонок, расписанием, а также готовые файлы DAG, конфигурации и SQL-скрипты.
Исходный текст
SKILL.md · MIT
---
name: etl-pipeline-builder
description: Build and manage ETL pipelines for data migration with transformation, CDC, and monitoring
allowed-tools: ["Bash", "Read", "Write", "Grep", "Glob", "Edit"]
graph:
domains: [domain:software-engineering]
specializations: [specialization:code-migration-modernization]
skillAreas: [skill-area:etl-pipelines, skill-area:database-migrations-zero-downtime]
roles: [role:data-engineer, role:backend-engineer]
workflows: [workflow:technical-debt-reduction]
topics: [topic:refactoring]
---
# ETL Pipeline Builder Skill
Builds and manages ETL (Extract, Transform, Load) pipelines for data migration, supporting incremental loads, CDC, and comprehensive monitoring.
## Purpose
Enable data pipeline creation for:
- Source-to-target mapping
- Transformation definition
- Incremental load setup
- CDC configuration
- Pipeline monitoring
## Capabilities
### 1. Source-to-Target Mapping
- Define column mappings
- Handle schema differences
- Configure data type conversions
- Manage derived columns
### 2. Transformation Definition
- Data type transformations
- Value mappings
- Aggregations
- Lookups and enrichments
### 3. Incremental Load Setup
- Define watermarks
- Configure incremental columns
- Handle deletes
- Manage merge logic
### 4. CDC Configuration
- Log-based CDC
- Trigger-based CDC
- Timestamp-based CDC
- Full load comparison
### 5. Error Handling
- Define retry policies
- Configure dead letter queues
- Handle data quality issues
- Implement alerting
### 6. Pipeline Monitoring
- Track pipeline metrics
- Monitor data volumes
- Alert on failures
- Generate SLA reports
## Tool Integrations
| Tool | Type | Integration Method |
|------|------|-------------------|
| Apache Airflow | Orchestration | Python |
| dbt | Transformation | CLI |
| Airbyte | Data integration | API |
| Fivetran | SaaS ETL | API |
| AWS DMS | Cloud migration | CLI |
| Debezium | CDC | Config |
## Output Schema
```json
{
"pipelineId": "string",
"timestamp": "ISO8601",
"pipeline": {
"name": "string",
"source": {},
"target": {},
"mappings": [],
"transformations": [],
"schedule": "string"
},
"artifacts": {
"dagFile": "string",
"configFile": "string",
"sqlFiles": []
},
"deployment": {
"status": "string",
"url": "string"
}
}
```
## Integration with Migration Processes
- **database-schema-migration**: Data movement
- **cloud-migration**: Cloud data pipelines
- **data-format-migration**: Format transformation
## Related Skills
- `data-migration-validator`: Validation
- `schema-comparator`: Schema mapping
## Related Agents
- `database-migration-orchestrator`: Pipeline orchestration
- `data-architect-agent`: Pipeline design
© a5c-ai · MIT · a5c-ai/babysitter