К основному содержанию
скилл CX Codex

data-engineering · rohitg00 — скилл для Claude Code: ETL и качество данных

Скилл data-engineering для Claude Code помогает проектировать ETL-пайплайны, хранилища и обработку данных в Apache Spark. Помогает продумать проверки качества и схему витрины данных.

Apache-2.0 ★ 2 858 обновлён 2026-05-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add rohitg00/awesome-claude-code-toolkit --skill data-engineering -a claude-code
Открыть на GitHub

Что делает data-engineering

Внутри — примеры ETL-пайплайна с инкрементальной загрузкой и пакетной записью, обработки заказов в Apache Spark и проверок качества данных. Также показана звёздная схема хранилища с таблицами фактов и измерений.

Скилл описывает типовые ошибки: обработку по одной записи, отсутствие проверок между этапами и полную загрузку таблиц вместо инкрементальной. Критические проверки останавливают выполнение при ошибке; для Spark в примере используется PySpark, а код загрузки обращается к методам fetch_all и upsert_batch. Их нужно реализовать в подключениях к базам данных.

Какие задачи решает

  • спроектировать ETL-пайплайн с отдельными этапами извлечения, преобразования и загрузки
  • обработать заказы в Spark и рассчитать выручку по дням и категориям
  • проверить таблицу на пустые идентификаторы, отрицательные суммы и дубликаты
  • набросать звёздную схему с таблицами фактов и измерений

Примеры запросов агенту

  • Спроектируй ETL-пайплайн для заказов с инкрементальной загрузкой и проверками качества.
  • Покажи обработку данных в Apache Spark с расчётом дневной выручки и скользящего среднего.
  • Предложи звёздную схему хранилища и проверки на дубликаты заказов.

Как установить data-engineering

1Через Skills CLI (Vercel)

npx skills add rohitg00/awesome-claude-code-toolkit --skill data-engineering -a claude-code

2Вручную: положить файлы

~/.claude/skills/data-engineering/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/data-engineering/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о data-engineering

Как установить data-engineering в Claude Code?

Выполните npx skills add rohitg00/awesome-claude-code-toolkit --skill data-engineering -a claude-code. Файл скилла находится по пути ~/.claude/skills/data-engineering/SKILL.md.

Что делает скилл data-engineering?

Он содержит примеры ETL, обработки в Apache Spark, проверок качества и схемы хранилища данных. Также описывает ошибки проектирования пайплайнов и практики загрузки.

Что нужно для запуска примеров с Apache Spark?

Пример использует PySpark и читает данные из Parquet в s3://data-lake/orders/ и s3://data-lake/customers/, а результат записывает в s3://data-warehouse/daily_revenue/.

Исходный текст

SKILL.md · Apache-2.0
---
name: data-engineering
description: Data engineering patterns for ETL pipelines, data warehousing, Apache Spark, and data quality validation
---

# Data Engineering

## ETL Pipeline Pattern

```python
from datetime import datetime
from dataclasses import dataclass

@dataclass
class PipelineResult:
    records_extracted: int
    records_transformed: int
    records_loaded: int
    errors: list[str]
    duration_seconds: float

class OrderPipeline:
    def __init__(self, source_db, warehouse_db):
        self.source = source_db
        self.warehouse = warehouse_db

    def extract(self, since: datetime) -> list[dict]:
        query = """
            SELECT o.*, c.name as customer_name, c.segment
            FROM orders o
            JOIN customers c ON o.customer_id = c.id
            WHERE o.updated_at > %s
        """
        return self.source.fetch_all(query, [since])

    def transform(self, records: list[dict]) -> list[dict]:
        transformed = []
        for record in records:
            transformed.append({
                "order_id": record["id"],
                "customer_name": record["customer_name"],
                "segment": record["segment"].upper(),
                "total_amount": float(record["total"]),
                "order_date": record["created_at"].date(),
                "fiscal_quarter": get_fiscal_quarter(record["created_at"]),
                "is_high_value": float(record["total"]) > 1000,
                "loaded_at": datetime.utcnow(),
            })
        return transformed

    def load(self, records: list[dict]) -> int:
        return self.warehouse.upsert_batch(
            table="fact_orders",
            records=records,
            conflict_keys=["order_id"],
            batch_size=5000,
        )

    def run(self, since: datetime) -> PipelineResult:
        start = datetime.utcnow()
        raw = self.extract(since)
        clean = self.transform(raw)
        loaded = self.load(clean)
        return PipelineResult(
            records_extracted=len(raw),
            records_transformed=len(clean),
            records_loaded=loaded,
            errors=[],
            duration_seconds=(datetime.utcnow() - start).total_seconds(),
        )
```

## Apache Spark Processing

```python
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
from pyspark.sql.window import Window

spark = SparkSession.builder \
    .appName("sales-analytics") \
    .config("spark.sql.adaptive.enabled", "true") \
    .config("spark.sql.shuffle.partitions", "200") \
    .getOrCreate()

orders = spark.read.parquet("s3://data-lake/orders/")
customers = spark.read.parquet("s3://data-lake/customers/")

daily_revenue = (
    orders
    .filter(F.col("status") == "completed")
    .withColumn("order_date", F.to_date("created_at"))
    .groupBy("order_date", "product_category")
    .agg(
        F.sum("total_amount").alias("revenue"),
        F.count("id").alias("order_count"),
        F.avg("total_amount").alias("avg_order_value"),
    )
    .withColumn(
        "revenue_7d_avg",
        F.avg("revenue").over(
            Window.partitionBy("product_category")
            .orderBy("order_date")
            .rowsBetween(-6, 0)
        )
    )
)

daily_revenue.write \
    .partitionBy("order_date") \
    .mode("overwrite") \
    .parquet("s3://data-warehouse/daily_revenue/")
```

## Data Quality Checks

```python
from dataclasses import dataclass

@dataclass
class QualityCheck:
    name: str
    query: str
    threshold: float
    severity: str

CHECKS = [
    QualityCheck(
        name="null_customer_ids",
        query="SELECT COUNT(*) FROM fact_orders WHERE customer_id IS NULL",
        threshold=0,
        severity="critical",
    ),
    QualityCheck(
        name="negative_amounts",
        query="SELECT COUNT(*) FROM fact_orders WHERE total_amount < 0",
        threshold=0,
        severity="critical",
    ),
    QualityCheck(
        name="duplicate_orders",
        query="SELECT COUNT(*) - COUNT(DISTINCT order_id) FROM fact_orders",
        threshold=0,
        severity="warning",
    ),
    QualityCheck(
        name="freshness",
        query="SELECT EXTRACT(EPOCH FROM NOW() - MAX(loaded_at))/3600 FROM fact_orders",
        threshold=2.0,
        severity="warning",
    ),
]

def run_quality_checks(db, checks: list[QualityCheck]) -> list[dict]:
    results = []
    for check in checks:
        value = db.fetch_scalar(check.query)
        passed = value <= check.threshold
        results.append({
            "name": check.name,
            "value": value,
            "threshold": check.threshold,
            "passed": passed,
            "severity": check.severity,
        })
        if not passed and check.severity == "critical":
            raise DataQualityError(f"Critical check failed: {check.name} = {value}")
    return results
```

## Data Warehouse Schema (Star Schema)

```sql
CREATE TABLE dim_customers (
    customer_key    BIGINT PRIMARY KEY,
    customer_id     VARCHAR(50) NOT NULL,
    name            VARCHAR(200),
    segment         VARCHAR(50),
    country         VARCHAR(100),
    valid_from      TIMESTAMP NOT NULL,
    valid_to        TIMESTAMP,
    is_current      BOOLEAN DEFAULT TRUE
);

CREATE TABLE dim_products (
    product_key     BIGINT PRIMARY KEY,
    product_id      VARCHAR(50) NOT NULL,
    name            VARCHAR(200),
    category        VARCHAR(100),
    subcategory     VARCHAR(100)
);

CREATE TABLE fact_orders (
    order_key       BIGINT PRIMARY KEY,
    order_id        VARCHAR(50) UNIQUE NOT NULL,
    customer_key    BIGINT REFERENCES dim_customers(customer_key),
    product_key     BIGINT REFERENCES dim_products(product_key),
    order_date_key  INT,
    quantity        INT,
    unit_price      DECIMAL(10,2),
    total_amount    DECIMAL(12,2),
    loaded_at       TIMESTAMP DEFAULT NOW()
);
```

## Anti-Patterns

- Processing data row-by-row instead of in batches or sets
- Not partitioning large tables by date or category
- Missing data quality checks between pipeline stages
- Loading raw data directly into the warehouse without transformation
- Using full table scans when incremental loads would suffice
- Not tracking data lineage (where data came from, when it was processed)

## Checklist

- [ ] Pipelines follow Extract-Transform-Load with clear stage separation
- [ ] Incremental processing based on watermarks or change data capture
- [ ] Data quality checks run after each pipeline stage
- [ ] Warehouse uses star or snowflake schema with dimension and fact tables
- [ ] Spark jobs use adaptive query execution and appropriate partitioning
- [ ] Idempotent loads (re-running produces the same result)
- [ ] Data freshness monitored with automated alerts
- [ ] Schema evolution handled gracefully (additive changes preferred)

© rohitg00 · Apache-2.0 · rohitg00/awesome-claude-code-toolkit

Похожие скиллы

Все скиллы по теме «Данные и базы» →

Сначала — data-engineering от других авторов.

data-engineering travisjneuman Скилл data-engineering для Claude Code помогает проектировать конвейеры данных и схемы хранилищ. Включается при настройке ETL/ELT, потоковой обработки и преобразований dbt. CX Codex +1 105установок data-engineering-study-material reason-machines Скилл data-engineering-study-material для Claude Code объясняет концепции дата-инженерии и показывает примеры пайплайнов. Включается при изучении темы и подготовке к собеседованию. CX Codex +1 2 000установок data-engineer Seth Hobson Субагент data-engineer для Claude Code проектирует пайплайны данных, хранилища и потоковую обработку. Работает с Apache Spark, dbt, Airflow и облачными платформами. CX Codex 3 194установок enterprise-data-engineering-pipeline-ssis-pyspark reason-machines Скилл enterprise-data-engineering-pipeline-ssis-pyspark содержит шаблоны и инструкции для построения хранилища данных на SQL Server, настройки схемы «звезда», пакетов SSIS и аналитики на PySpark. CX Codex +1 2 000установок agentic-bundle-aas-data-engineering-platform sickn33 and contributors Плагин agentic-bundle-aas-data-engineering-platform для Claude Code с набором скиллов Agentic Awesome Skills под задачи дата-инженеринга. Устанавливается одной командой из маркетплейса. CX Codex ★ 50 109звёзд репо data-quality-frameworks Seth Hobson Скилл data-quality-frameworks для Claude Code проверяет качество данных через Great Expectations, dbt-тесты и контракты данных. Проверки запускаются в пайплайнах и CI/CD, в том числе для контроля схем. CX Codex +1 11 230установок suggesting-data-imports PostHog Скилл suggesting-data-imports предлагает импортировать внешние данные в PostHog, когда запросу не хватает таблиц с платежами, подписками, CRM-записями или файлами из бакетов. CX Codex +1 401установок

Из того же набора178

Весь набор →
academic-researcher Субагент academic-researcher для Claude Code проводит систематические обзоры научной литературы, проверяет методику исследований и сводит данные в отчёт. Готовит технические обоснования. CX Codex ★ 2 858звёзд репо devops-automation Скилл devops-automation для Claude Code проектирует CI/CD в GitHub Actions и готовит конфигурации Docker, Kubernetes, Helm и ArgoCD для сборки и выкладки приложения. CX Codex +1 ★ 2 858звёзд репо technology-scout Субагент technology-scout анализирует новые технологии, проводит сравнение build-vs-buy и оценивает решения поставщиков. Помогает принять обоснованное решение о внедрении или отказе от технологии. CX Codex ★ 2 858звёзд репо react-patterns Скилл react-patterns для Claude Code собирает шаблоны React 19 для серверных компонентов, серверных действий, Suspense и управления состоянием. CX Codex +1 ★ 2 858звёзд репо python-best-practices Скилл python-best-practices подсказывает Claude Code писать Python на современном синтаксисе: тайп-хинты, dataclasses, async, структура проекта и тесты на pytest. CX Codex +1 ★ 2 858звёзд репо golang-idioms Скилл golang-idioms для Claude Code задаёт идиоматичные паттерны Go для обработки ошибок, конкурентности и тестирования. CX Codex +1 ★ 2 858звёзд репо workflow-optimizer Плагин workflow-optimizer для Claude Code анализирует рабочий процесс разработки и предлагает, как его улучшить. Помогает разобраться, где в проекте можно изменить порядок работы. ★ 2 858звёзд репо web-dev Плагин web-dev для Claude Code автоматизирует создание полнофункциональных веб-приложений: генерирует структуру проекта, компоненты и страницы с одной команды. ★ 2 858звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой