# ingesting-data

Скилл ingesting-data для Claude Code содержит паттерны и примеры загрузки данных из облачных хранилищ, API, файлов и потоков в базы данных.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 1 установка · ★ 533 у репозитория
- Автор: ancoleman
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/ancoleman/ai-design-components/tree/HEAD/skills/ingesting-data/SKILL.md
- Обновлён: 2025-12-11
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/ingesting-data

## Что делает

Скилл содержит архитектурные схемы и шаблоны кода для импорта данных в базы. Внутри собрано дерево решений для выбора источника: бакеты S3, GCS или Azure Blob, файлы форматов CSV, JSON и Parquet, вебхуки, REST или GraphQL API, а также шины сообщений Kafka и Kinesis.

В набор входят примеры на четырёх языках: Python с использованием `dlt` и `polars`, TypeScript с `@aws-sdk/client-s3` и `hono`, Rust на `polars-rs` и Go со стандартным AWS SDK. Также включены справочники по форматам и готовые скрипты вроде `validate_csv_schema.py`.

Для больших файлов скилл ориентирует на чанкование от 100 МБ и проверку контрольных сумм. Если в проекте нет поддержки очередей dead-letter или дедупликации, стриминг быстро накопит ошибки при сбоях сети.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ancoleman/ai-design-components --skill ingesting-data -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/ingesting-data/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/ingesting-data/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ancoleman/ai-design-components --skill ingesting-data -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/ingesting-data/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ancoleman/ai-design-components --skill ingesting-data -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/ingesting-data/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install ancoleman/ai-design-components skills/ingesting-data
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/ingesting-data/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ancoleman/ai-design-components --skill ingesting-data -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/ancoleman/ai-design-components --path skills/ingesting-data
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/ingesting-data/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add ancoleman/ai-design-components --skill ingesting-data -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/ancoleman/ai-design-components/tree/HEAD/skills/ingesting-data/SKILL.md

## Когда брать
- настроить пайплайн загрузки батчей из S3 в PostgreSQL с помощью dlt
- разобрать большие файлы Parquet и CSV через Polars без переполнения памяти
- реализовать приём вебхуков стороннего API и сохранение событий в базу
- спроектировать архитектуру репликации через Change Data Capture

## Примеры запросов агенту
- Покажи паттерн загрузки Parquet из S3 в Postgres на Python через Polars
- Как настроить приём вебхуков на TypeScript с валидацией сигнатуры?
- Помоги организовать пакетную обработку CSV-файлов размером больше 100 МБ

## Похожие
- [ingesting-into-data-lake](https://affpapa.org/nevibecode/skills/ingesting-into-data-lake.md) — скилл · 7400 установок
- [realtime-cinema-data-engineering-pipeline](https://affpapa.org/nevibecode/skills/realtime-cinema-data-engineering-pipeline.md) — скилл · 2000 установок
- [data-engineer](https://affpapa.org/nevibecode/skills/daffy0208-data-engineer.md) — скилл · 181 установка
- [data-engineering](https://affpapa.org/nevibecode/skills/travisjneuman-data-engineering.md) — скилл · 105 установок
- [setting-up-a-data-warehouse-source](https://affpapa.org/nevibecode/skills/setting-up-a-data-warehouse-source.md) — скилл · 405 установок
- [data-pipeline](https://affpapa.org/nevibecode/commands/data-pipeline.md) — команда · ★ 42780 у репозитория

Из того же набора: [ancoleman/ai-design-components](https://affpapa.org/nevibecode/by/ancoleman/ai-design-components.md) — 10 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
