# data-pipeline

Скилл для сборки ETL-конвейеров: извлечение из API и баз, преобразование, загрузка в хранилища и таблицы. Пригодится, когда нужно регулярно сводить данные из нескольких источников.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 4900 установок · ★ 540
- Автор: claude-office-skills
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/claude-office-skills/skills/tree/HEAD/data-pipeline/SKILL.md
- Обновлён: 2026-01-31
- HTML: https://affpapa.org/nevibecode/skills/data-pipeline

## Что делает

Скилл описывает паттерны extract-transform-load и опирается на шаблоны рабочих процессов n8n. Внутри — примеры извлечения из PostgreSQL, MySQL, MongoDB, REST и GraphQL, файлов CSV, Excel и JSON, а также из Salesforce, HubSpot, Stripe и Shopify. Для преобразований даны очистка, переименование полей, приведение типов, агрегация, обогащение и фильтрация, плюс примеры кода на JavaScript для нормализации и группировки записей.

Загрузка расписана по приёмникам: BigQuery, Snowflake, Redshift, PostgreSQL, MySQL, S3, Google Cloud Storage, Google Sheets, Airtable и вебхуки. Отдельный блок — расписания по cron (ежечасно, ежедневно, еженедельно, по требованию), зависимости между конвейерами и повторные попытки при сбоях. Скилл заявляет работу с MCP-сервером `data-mcp` и его инструментами `database_query`, `api_fetch`, `spreadsheet_write` и `file_transform` — без этого сервера шаги извлечения и записи выполняться не будут, это повод проверить окружение до запуска.

Рекомендованная модель — `claude-sonnet-4`. Языки скилла — английский и китайский. Родственные скиллы: `sheets-automation`, `data-analysis`, `airtable-automation`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add claude-office-skills/skills --skill data-pipeline -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/data-pipeline/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/data-pipeline/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add claude-office-skills/skills --skill data-pipeline -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/data-pipeline/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add claude-office-skills/skills --skill data-pipeline -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/data-pipeline/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install claude-office-skills/skills data-pipeline
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/data-pipeline/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add claude-office-skills/skills --skill data-pipeline -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/claude-office-skills/skills --path data-pipeline
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/data-pipeline/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add claude-office-skills/skills --skill data-pipeline -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/claude-office-skills/skills/tree/HEAD/data-pipeline/SKILL.md

## Когда брать
- свести заказы из Shopify и платежи из Stripe в одну таблицу
- почистить выгрузку и привести типы полей к нужным
- посчитать выручку и число заказов по дням и категориям
- настроить ежедневную загрузку в BigQuery по расписанию
- дописать результаты в Google Sheets для отчёта

## Примеры запросов агенту
- Собери ETL-конвейер: забери заказы из Shopify за вчера, объедини со платежами из Stripe по order_id и загрузи в BigQuery
- Опиши шаги очистки для CSV из S3: убери пустые значения, обрежь пробелы, убери дубликаты по ключу
- Настрой расписание раз в сутки в 2 ночи и повторные попытки при ошибке загрузки

## Похожие
- [data-engineering](https://affpapa.org/nevibecode/plugins/data-engineering.md) — плагин · ★ 41729
- [sap-hana-cloud-data-intelligence](https://affpapa.org/nevibecode/skills/sap-hana-cloud-data-intelligence.md) — скилл · 643 установки
- [data-analyst](https://affpapa.org/nevibecode/skills/data-analyst.md) — скилл · 2200 установок
- [apache-airflow-orchestration](https://affpapa.org/nevibecode/skills/apache-airflow-orchestration.md) — скилл · 2400 установок
- [suggesting-data-imports](https://affpapa.org/nevibecode/skills/suggesting-data-imports.md) — скилл · 372 установки
- [etl-connector-strategy](https://affpapa.org/nevibecode/skills/etl-connector-strategy.md) — скилл · 8000 установок

Из того же набора: [claude-office-skills/skills](https://affpapa.org/nevibecode/by/claude-office-skills/skills.md) — 109 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md