# data-engineer

Субагент data-engineer проектирует и разбирает data-пайплайны, хранилища и потоковую обработку. Подходит для задач на Spark, Airflow и Kafka.

- субагент · `type=agent` · Claude Code, Codex, Cursor · ★ 1357 у репозитория
- Автор: qdhenry
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/qdhenry/Claude-Command-Suite/tree/HEAD/.claude/agents/data-ai/data-engineer.md
- Обновлён: 2026-03-01
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/agents/qdhenry-data-engineer

## Что делает

data-engineer помогает спроектировать ETL/ELT-пайплайн, хранилище данных или потоковую архитектуру. Он разбирает текущую структуру проекта, предлагает схему решения и может подготовить изменения в коде. В фокусе — Apache Spark, Apache Airflow, Apache Kafka, моделирование данных и распределённая обработка.

Субагент работает с файлами через Read, Write, Edit, MultiEdit, Grep, Glob, Bash и LS. Для поиска документации доступны WebSearch, WebFetch и MCP-инструменты `context7`; сложные схемы и поиск причин сбоев он может разбирать через `sequential-thinking`. В описании также заданы проверки, тесты, обработка ошибок и контроль стоимости инфраструктуры.

Если проект не использует Spark, Airflow или Kafka, часть специализации субагента останется невостребованной.

## Установка

### Claude Code (родная платформа)

**Вручную: положить файлы**
- Файл: `.claude/agents/data-engineer.md` — Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

### Codex

**Вручную: положить файлы**
- Файл: `.codex/agents/data-engineer.toml` — Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/agents/data-engineer.md` — Cursor понимает и .claude/agents/

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/qdhenry/Claude-Command-Suite/tree/HEAD/.claude/agents/data-ai/data-engineer.md

## Когда брать
- спроектировать ETL/ELT-пайплайн
- разобрать сбой в обработке данных
- создать схему хранилища данных
- настроить потоковую архитектуру на Kafka
- оптимизировать Spark-задачу

## Примеры запросов агенту
- Спроектируй ETL-пайплайн для этого проекта и опиши зависимости задач.
- Разбери причину сбоя в текущем пайплайне и предложи исправление.
- Подготовь схему хранилища данных и объясни выбранную модель.

## Похожие
- [senior-data-engineer](https://affpapa.org/nevibecode/skills/senior-data-engineer.md) — скилл · 1109 установок
- [data-pipeline-engineer](https://affpapa.org/nevibecode/skills/data-pipeline-engineer.md) — скилл · 215 установок
- [data-engineering](https://affpapa.org/nevibecode/skills/travisjneuman-data-engineering.md) — скилл · 105 установок
- [discover-data](https://affpapa.org/nevibecode/skills/discover-data.md) — скилл · 101 установка
- [data-pipeline](https://affpapa.org/nevibecode/commands/data-pipeline.md) — команда · ★ 42780 у репозитория
- [data-engineering-study-material](https://affpapa.org/nevibecode/skills/data-engineering-study-material.md) — скилл · 2000 установок

## Другие версии с тем же именем
- [data-engineer · voltagent](https://affpapa.org/nevibecode/agents/voltagent-community-data-engineer.md) — 3194 установки
- [data-engineer · wshobson](https://affpapa.org/nevibecode/agents/data-engineer.md) — 3194 установки
- [data-engineer · voltagent](https://affpapa.org/nevibecode/agents/voltagent-data-engineer.md) — ★ 6505 у репозитория
- [data-engineer · josstei](https://affpapa.org/nevibecode/agents/josstei-data-engineer.md) — ★ 489 у репозитория

Из того же набора: [qdhenry/claude-command-suite](https://affpapa.org/nevibecode/by/qdhenry/claude-command-suite.md) — 112 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
