# ingesting-into-data-lake

Помогает загружать данные в data lake на AWS из файлов S3, баз данных JDBC, DynamoDB, BigQuery или Snowflake. Выбирает формат S3 Tables или Apache Iceberg и генерирует Glue-пайплайны.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 6600 установок · ★ 3282
- Автор: aws
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/aws/agent-toolkit-for-aws/tree/HEAD/plugins/aws-data-analytics/skills/ingesting-into-data-lake/SKILL.md
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/skills/ingesting-into-data-lake

## Что делает

Скилл организует импорт данных в аналитическое озеро AWS через инструменты AWS MCP или консольный интерфейс AWS CLI. Он определяет тип источника: локальные файлы, бакеты S3, DynamoDB, хранилища вроде Snowflake и BigQuery или СУБД с подключением по JDBC (PostgreSQL, MySQL, Oracle, SQL Server). По умолчанию скилл настраивает запись в S3 Tables либо в таблицы Apache Iceberg на обычном бакете S3.

Перед стартом агент проверяет учётные данные. Для этого вызывается команда `aws sts get-caller-identity`, после чего проверяется наличие существующих Glue-подключений. Для выполнения загрузки формируются задачи AWS Glue версии 5.1 или выше со скриптами PySpark. После выполнения скилл в обязательном порядке сверяет число строк в источнике и приёмнике, проверяет ключевые поля на null и выводит выборку из 3–5 строк.

Если у вас в инфраструктуре используется версия AWS Glue ниже 5.1, целевой формат S3 Tables работать не будет. Скилл также не поддерживает SaaS-платформы и потоковые сервисы вроде Kafka, MongoDB, SAP или Salesforce — для них придётся искать другие решения.

## Требования
- Работает с: AWS, PostgreSQL, Snowflake

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add aws/agent-toolkit-for-aws --skill ingesting-into-data-lake -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/ingesting-into-data-lake/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/ingesting-into-data-lake/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add aws/agent-toolkit-for-aws --skill ingesting-into-data-lake -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/ingesting-into-data-lake/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add aws/agent-toolkit-for-aws --skill ingesting-into-data-lake -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/ingesting-into-data-lake/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install aws/agent-toolkit-for-aws ingesting-into-data-lake
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/ingesting-into-data-lake/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add aws/agent-toolkit-for-aws --skill ingesting-into-data-lake -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/aws/agent-toolkit-for-aws --path plugins/aws-data-analytics/skills/ingesting-into-data-lake
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/ingesting-into-data-lake/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add aws/agent-toolkit-for-aws --skill ingesting-into-data-lake -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/aws/agent-toolkit-for-aws/tree/HEAD/plugins/aws-data-analytics/skills/ingesting-into-data-lake/SKILL.md

## Когда брать
- перенести таблицы из Snowflake, BigQuery или Redshift в S3 Tables
- настроить импорт данных из реляционных баз данных через JDBC в формат Iceberg
- экспортировать таблицы из DynamoDB в аналитическое озеро данных AWS
- мигрировать существующие таблицы каталога AWS Glue в Apache Iceberg
- создать расписание запуска ETL-задачи с помощью Glue Trigger

## Примеры запросов агенту
- Загрузи данные из s3://my-raw-data-bucket/events/ в data lake с форматом S3 Tables
- Настрой импорт заказов из базы PostgreSQL через подключение postgres-prod-conn в таблицу Iceberg
- Сделай миграцию таблицы Glue catalog sales_archive в формат iceberg

## Похожие
- [suggesting-data-imports](https://affpapa.org/nevibecode/skills/suggesting-data-imports.md) — скилл · 372 установки
- [iac-terraform-data-engineering](https://affpapa.org/nevibecode/skills/iac-terraform-data-engineering.md) — скилл · 1800 установок
- [iac-data-engineering-terraform](https://affpapa.org/nevibecode/skills/iac-data-engineering-terraform.md) — скилл · 1800 установок
- [neon-object-storage](https://affpapa.org/nevibecode/skills/neon-object-storage.md) — скилл · 28200 установок
- [data-context-extractor](https://affpapa.org/nevibecode/skills/data-context-extractor.md) — скилл · 3100 установок
- [aws-rds-spring-boot-integration](https://affpapa.org/nevibecode/skills/aws-rds-spring-boot-integration.md) — скилл · 3700 установок

Из того же набора: [aws/agent-toolkit-for-aws](https://affpapa.org/nevibecode/by/aws/agent-toolkit-for-aws.md) — 133 карточки

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md