К основному содержанию
скилл CX Codex

data-engineering · travisjneuman — скилл для Claude Code: возможности и установка

Скилл data-engineering для Claude Code помогает проектировать конвейеры данных и схемы хранилищ. Включается при настройке ETL/ELT, потоковой обработки и преобразований dbt.

MIT 105 установок ★ 114 обновлён 2026-10-25

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add travisjneuman/.claude --skill data-engineering -a claude-code
Открыть на GitHub

Что делает data-engineering

Скилл описывает устройство ETL и ELT-конвейеров, оркестрацию задач через Airflow или Dagster и преобразования данных в dbt. Он также разбирает потоковую обработку в Kafka и проектирование схем хранилищ, включая звёздную схему и медленно меняющиеся измерения.

В рекомендациях есть проверки качества через Great Expectations и тесты dbt, а также идемпотентные конвейеры, инкрементальные модели и очереди для ошибочных записей. Для Kafka-примеров нужен запущенный брокер, доступный по localhost:9092.

Скилл подключается к задачам по созданию конвейера, проектированию схемы хранилища или обработке данных в реальном времени. Примеры кода используют Python и SQL.

Какие задачи решает

  • спроектировать ETL- или ELT-конвейер
  • разложить данные хранилища на факты и измерения
  • настроить обработку событий через Kafka
  • добавить тесты качества данных в dbt
  • продумать повторный запуск и историческую загрузку данных

Примеры запросов агенту

  • Спроектируй ETL-конвейер для загрузки данных в хранилище.
  • Предложи схему фактов и измерений для заказов и клиентов.
  • Настрой обработку событий через Kafka и проверки качества данных в dbt.

Как установить data-engineering

1Через Skills CLI (Vercel)

npx skills add travisjneuman/.claude --skill data-engineering -a claude-code

2Вручную: положить файлы

~/.claude/skills/data-engineering/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/data-engineering/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о data-engineering

Как установить data-engineering в Claude Code?

Выполни npx skills add travisjneuman/.claude --skill data-engineering -a claude-code. Файл скилла появится по пути ~/.claude/skills/data-engineering/SKILL.md.

Что делает data-engineering?

Скилл помогает создавать конвейеры данных, проектировать схемы хранилищ и настраивать потоковую обработку. Он охватывает Airflow, Dagster, dbt и Kafka.

Чем ETL отличается от ELT в data-engineering?

В ETL данные преобразуются до загрузки, а ELT сначала помещает исходные данные в хранилище и преобразует их там. Скилл приводит инструменты и сценарии для обоих подходов.

Исходный текст

SKILL.md · MIT
---
name: data-engineering
description: ETL/ELT pipelines, data warehousing (BigQuery, Snowflake, Redshift), stream processing (Kafka, Spark Streaming), orchestration (Airflow, Dagster, Prefect), dbt transformations, and data lake architecture. Use when building data pipelines, designing warehouse schemas, or implementing real-time data processing.
---

# Data Engineering

## Pipeline Architecture

### ETL vs ELT
| Pattern | When to Use | Tools |
|---------|-------------|-------|
| **ETL** | Transform before loading, data quality critical | Airflow + custom, Spark |
| **ELT** | Raw → warehouse → transform in-place | Fivetran + dbt, Airbyte + dbt |

### Orchestration

**Apache Airflow:**
```python
from airflow.decorators import dag, task
from datetime import datetime

@dag(schedule="@daily", start_date=datetime(2024, 1, 1), catchup=False)
def my_pipeline():
    @task()
    def extract() -> dict:
        return {"data": "extracted"}

    @task()
    def transform(data: dict) -> dict:
        return {"transformed": True}

    @task()
    def load(data: dict):
        # Load to warehouse
        pass

    raw = extract()
    transformed = transform(raw)
    load(transformed)

my_pipeline()
```

**Dagster (recommended for new projects):**
```python
from dagster import asset, Definitions

@asset
def raw_users():
    return extract_from_source()

@asset
def cleaned_users(raw_users):
    return clean_and_validate(raw_users)
```

## dbt Transformations

```sql
-- models/marts/dim_customers.sql
{{ config(materialized='table', schema='marts') }}

WITH source AS (
    SELECT * FROM {{ ref('stg_customers') }}
),
orders AS (
    SELECT customer_id, COUNT(*) as order_count, SUM(amount) as total_spent
    FROM {{ ref('stg_orders') }}
    GROUP BY customer_id
)
SELECT
    s.customer_id,
    s.name,
    s.email,
    COALESCE(o.order_count, 0) as lifetime_orders,
    COALESCE(o.total_spent, 0) as lifetime_value
FROM source s
LEFT JOIN orders o ON s.customer_id = o.customer_id
```

## Stream Processing

**Apache Kafka:**
```python
from confluent_kafka import Producer, Consumer

# Producer
producer = Producer({'bootstrap.servers': 'localhost:9092'})
producer.produce('events', key='user_123', value=json.dumps(event))
producer.flush()

# Consumer
consumer = Consumer({
    'bootstrap.servers': 'localhost:9092',
    'group.id': 'my-group',
    'auto.offset.reset': 'earliest'
})
consumer.subscribe(['events'])
```

## Data Warehouse Schema Design

### Star Schema
- **Fact tables:** Measurable events (orders, clicks, transactions)
- **Dimension tables:** Descriptive context (customers, products, dates)
- **Slowly Changing Dimensions:** Type 1 (overwrite), Type 2 (versioned rows), Type 3 (previous column)

### Data Quality
- **Great Expectations:** Schema validation, statistical tests, custom expectations
- **dbt tests:** `not_null`, `unique`, `accepted_values`, `relationships`, custom SQL tests
- **Data contracts:** Schema evolution policies, backward compatibility requirements

## Key Patterns
- **Idempotent pipelines:** Same input always produces same output, safe to rerun
- **Incremental models:** Process only new/changed data, use `updated_at` watermarks
- **Dead letter queues:** Route failed records for inspection without blocking pipeline
- **Backfill strategy:** Time-partitioned tables enable targeted historical reprocessing

© travisjneuman · MIT · travisjneuman/.claude

Похожие скиллы

Все скиллы по теме «Данные и базы» →

Сначала — data-engineering от других авторов.

data-engineering rohitg00 Скилл data-engineering для Claude Code помогает проектировать ETL-пайплайны, хранилища и обработку данных в Apache Spark. Помогает продумать проверки качества и схему витрины данных. CX Codex +1 ★ 2 858звёзд репо altimate-data-engineering-skills reason-machines Скилл altimate-data-engineering-skills для Claude Code помогает аналитикам и инженерам данных проектировать модели dbt, находить ошибки сборки и оптимизировать медленные запросы Snowflake. CX Codex +1 2 100установок Data Pipeline taste f Промпт Data Pipeline taste для ChatGPT и Claude.ai задаёт инженерные правила проектирования пайплайнов данных. Помогает проектировать хранилища по схеме ELT и настраивать трансформации. GP ChatGPT ★ 178 201звёзд репо zomato-ai-data-engineering-pipeline reason-machines Скилл zomato-ai-data-engineering-pipeline помогает развернуть пакетный конвейер аналитики доставки еды через S3, Snowflake, dbt, Airflow и настроить слой OpenAI для обогащения отзывов и text-to-SQL. CX Codex +1 128установок data-engineer davila7 Скилл data-engineer для Claude Code помогает проектировать пакетные и потоковые конвейеры данных. Он подключается к задачам по хранилищам, качеству данных и оркестрации. CX Codex +1 152установок senior-data-engineer Alireza Rezvani Скилл senior-data-engineer для Claude Code помогает проектировать конвейеры данных и ETL/ELT-системы. Включается при настройке оркестрации, проверок качества и архитектуры хранилища. CX Codex +1 1 109установок discover-data rand Скилл discover-data для Claude Code находит инструкции по ETL и пайплайнам. Включается при работе с Airflow, потоковой обработкой, пакетными задачами и валидацией данных. CX Codex +1 101установок

Из того же набора117

Весь набор →
serverless-development Скилл serverless-development для Claude Code разбирает бессерверные функции AWS Lambda, Vercel Edge и Cloudflare Workers. API и вебхуки масштабируются сами. CX Codex +1 133установок growth-engineering Скилл growth-engineering для Claude Code содержит шаблоны A/B-тестирования, фича-флагов, воронок активации и виральных циклов. CX Codex +1 133установок email-systems Скилл email-systems для Claude Code и Codex помогает настроить отправку транзакционных писем, вёрстку шаблонов и DNS-записи. Включается при создании почтовой инфраструктуры или отладке спам-фильтров. CX Codex +1 132установок graphql-expert Скилл graphql-expert для Claude Code помогает проектировать схемы GraphQL, писать резолверы и оптимизировать запросы. Включается при создании API или настройке DataLoader. CX Codex +1 132установок ar-vr-xr Скилл ar-vr-xr для Claude Code помогает проектировать AR-, VR- и XR-приложения для Unity, WebXR и устройств Apple и Meta. Помогает продумывать взаимодействия, интерфейс и производительность в пространстве. CX Codex +1 125установок blockchain-web3 Скилл blockchain-web3 для Claude Code помогает писать Solidity-контракты, собирать dApp и проверять типовые уязвимости Web3. Охватывает EVM, DeFi, NFT и интеграцию кошельков. CX Codex +1 109установок compliance-engineering Скилл compliance-engineering для Claude Code описывает реализацию требований SOC 2, HIPAA, GDPR, PCI-DSS и FedRAMP в коде. Помогает добавлять контроль доступа, шифрование и аудит при подготовке проекта к проверке. CX Codex +1 102установок game-development Скилл game-development для Claude Code помогает создавать игры на Unity, Unreal Engine и Godot. Подключается к задачам по игровой механике, физике, ИИ и работе с игровыми движками. CX Codex +1 1установок

Ещё в каталоге

Спонсоры проекта

Компании, которые помогают держать аналитику открытой