# senior-data-engineer

Скилл senior-data-engineer для Claude и других агентов: помогает проектировать ETL/ELT и стриминговые пайплайны, генерирует Airflow DAG, конфиги Kafka и проверки качества данных.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 1 установка · ★ 1933 у репозитория
- Автор: Claude Skills Team
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/benchflow-ai/skillsbench/tree/HEAD/tasks/flink-query/environment/skills/senior-data-engineer/SKILL.md
- Обновлён: 2026-10-24
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/claude-skills-team-senior-data-engineer

## Что делает

Скилл даёт агенту инструкции по проектированию данных и Python-скрипты для рутины. `scripts/pipeline_orchestrator.py` собирает Airflow DAG из YAML-описания источников, преобразований и приёмников, а `data_quality_validator.py` прогоняет проверки по CSV-файлу или таблице в базе и пишет отчёт в HTML.

Для стриминга есть `kafka_config_generator.py`: топики, число партиций, профиль exactly-once для продюсера. `stream_processor.py` проверяет конфиг стриминга и готовит каркас job для Flink или Spark. Производительность разбирает `etl_performance_optimizer.py`, читая базу Airflow или Spark History Server и выдавая рекомендации по настройкам.

В описании фигурируют три схемы архитектуры: Lambda, Kappa и Medallion. Скрипты на Python, поэтому нужен Python 3.8+; на более старом интерпретаторе они не стартуют. Уровень заявлен как advanced, и это честно: без опыта с Airflow или Kafka YAML-конфиги придётся разбирать по шагам.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add benchflow-ai/skillsbench --skill senior-data-engineer -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/senior-data-engineer/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/senior-data-engineer/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add benchflow-ai/skillsbench --skill senior-data-engineer -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/senior-data-engineer/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add benchflow-ai/skillsbench --skill senior-data-engineer -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/senior-data-engineer/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install benchflow-ai/skillsbench tasks/flink-query/environment/skills/senior-data-engineer
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/senior-data-engineer/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add benchflow-ai/skillsbench --skill senior-data-engineer -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/benchflow-ai/skillsbench --path tasks/flink-query/environment/skills/senior-data-engineer
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/senior-data-engineer/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add benchflow-ai/skillsbench --skill senior-data-engineer -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/benchflow-ai/skillsbench/tree/HEAD/tasks/flink-query/environment/skills/senior-data-engineer/SKILL.md

## Когда брать
- собрать Airflow DAG из YAML-описания пайплайна
- проверить CSV или таблицу в базе по набору правил качества
- сгенерировать конфиг Kafka-топика с нужным числом партиций
- найти узкие места в прогонах Airflow и Spark
- выбрать между Lambda, Kappa и Medallion для новой архитектуры

## Примеры запросов агенту
- Собери Airflow DAG из `pipeline_config.yaml` скриптом `scripts/pipeline_orchestrator.py` и сохрани в `dags/`.
- Проверь таблицу `sales_transactions` по правилам из `rules/sales_validation.yaml` с порогом 0.95.
- Сгенерируй конфиг Kafka-топика `user-events` на 12 партиций с репликацией 3.

## Похожие
- [data-mesh-expert](https://affpapa.org/nevibecode/skills/data-mesh-expert.md) — скилл · 168 установок
- [senior-architect](https://affpapa.org/nevibecode/skills/sickn33-senior-architect.md) — скилл · 2200 установок
- [data_engineer](https://affpapa.org/nevibecode/agents/agenticorglab-data-engineer.md) — субагент · ★ 776 у репозитория
- [senior-ml-engineer](https://affpapa.org/nevibecode/skills/senior-ml-engineer.md) — скилл · 915 установок
- [kafka-expert](https://affpapa.org/nevibecode/skills/kafka-expert.md) — скилл · 220 установок
- [senior-data-scientist](https://affpapa.org/nevibecode/skills/senior-data-scientist.md) — скилл · 942 установки

## Другие версии с тем же именем
- [senior-data-engineer · alirezarezvani](https://affpapa.org/nevibecode/skills/senior-data-engineer.md) — 1109 установок
- [senior-data-engineer · borghei](https://affpapa.org/nevibecode/skills/borghei-senior-data-engineer.md) — 199 установок

Из того же набора: [benchflow-ai/skillsbench](https://affpapa.org/nevibecode/by/benchflow-ai/skillsbench.md) — 22 карточки

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
