# etl-pipeline

Скилл etl-pipeline помогает собирать конвейеры для обработки строительных данных: извлекать их из файлов и систем, преобразовывать и выгружать в отчёты или базы.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 117 установок · ★ 434 у репозитория
- Автор: datadrivenconstruction
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction/tree/HEAD/2_DDC_Book/4.2-ETL-Automation/etl-pipeline/SKILL.md
- Обновлён: 2026-10-19
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/datadrivenconstruction-etl-pipeline

## Что делает

Скилл описывает ETL-процессы для строительных данных. Он помогает извлекать таблицы из PDF и Excel, объединять файлы, получать данные из API или базы, очищать и проверять записи, а затем считать сводки и готовить выходные данные для Excel, PDF, базы, API или дашборда.

В примерах показаны шаги Extract, Transform и Load, а также код на Python с `pandas`, `pdfplumber`, `requests` и `sqlite3`. Правила проверки охватывают пропущенные столбцы, положительные значения, пустые ячейки и дубликаты; агрегировать данные можно по иерархии проекта, здания и уровня. Для работы нужен `python3`. Если в PDF-таблицах нет пригодной структуры, пример извлечения может не собрать их как ожидается.

## Требования
- Работает с: n8n

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction --skill etl-pipeline -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/etl-pipeline/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/etl-pipeline/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction --skill etl-pipeline -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/etl-pipeline/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction --skill etl-pipeline -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/etl-pipeline/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction 2_DDC_Book/4.2-ETL-Automation/etl-pipeline
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/etl-pipeline/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction --skill etl-pipeline -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction --path 2_DDC_Book/4.2-ETL-Automation/etl-pipeline
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/etl-pipeline/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction --skill etl-pipeline -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/datadrivenconstruction/DDC_Skills_for_AI_Agents_in_Construction/tree/HEAD/2_DDC_Book/4.2-ETL-Automation/etl-pipeline/SKILL.md

## Когда брать
- извлечь таблицы из PDF-файлов
- объединить данные из нескольких Excel-файлов
- очистить и проверить строительные записи
- посчитать сводные показатели по проекту и категориям
- выгрузить результат в Excel или базу данных

## Примеры запросов агенту
- Собери ETL-конвейер: извлеки таблицы из PDF, очисти данные и сохрани итог в Excel.
- Объедини Excel-файлы из папки, проверь `Volume` и `ElementId`, затем сгруппируй результат по проекту.
- Получи данные из API, рассчитай сводку по категориям и подготовь данные для дашборда.

## Похожие
- [harvard-artifacts-etl-pipeline](https://affpapa.org/nevibecode/skills/harvard-artifacts-etl-pipeline.md) — скилл · 1700 установок
- [ETL Pipeline](https://affpapa.org/nevibecode/skills/etl-pipeline.md) — скилл · 4900 установок
- [retail-etl-pipeline-medallion](https://affpapa.org/nevibecode/skills/retail-etl-pipeline-medallion.md) — скилл · 1800 установок
- [etl-pipeline-builder](https://affpapa.org/nevibecode/skills/etl-pipeline-builder.md) — скилл · 1 установка
- [data-pipeline-builder](https://affpapa.org/nevibecode/skills/data-pipeline-builder.md) — скилл · 252 установки
- [etl-connector-strategy](https://affpapa.org/nevibecode/skills/etl-connector-strategy.md) — скилл · 10400 установок

Из того же набора: [datadrivenconstruction/ddc_skills_for_ai_agents_in_construction](https://affpapa.org/nevibecode/by/datadrivenconstruction/ddc_skills_for_ai_agents_in_construction.md) — 156 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
