К основному содержанию
субагент CX Codex

data-engineer · voltagent/awesome-codex-subagents — субагент для Codex: задачи с данными

Субагент data-engineer разбирает ETL, загрузку данных и сбои конвейеров. Поручите ему задачу, когда нужно найти риск для данных и внести ограниченное исправление.

MIT ★ 6 505 обновлён 2026-10-05

Установить в Codex · Вручную: положить файлы Все способы и платформы ↓
.codex/agents/data-engineer.toml
Открыть на GitHub

Что делает data-engineer

Субагент прослеживает путь данных от источника до получателя, проверяет границы схем и ищет сбои в порядке обработки или актуальности данных. Он учитывает повторы, дубликаты, опоздавшие записи, значения null и преобразование типов. Это важно для пайплайнов, где повторная загрузка может изменить результат или нарушить контракт потребителя.

Для исправления он предлагает минимальное связное изменение в загрузке, преобразовании или записи данных. Проверки охватывают обычный запуск, повтор после сбоя и крайний случай контракта; также рассматриваются карантин ошибочных данных, обратная загрузка и миграции. Широкую переработку платформы субагент не предлагает, если задача решается точечно.

В ответе он указывает изменённый участок и контракт, объясняет риск, описывает исправление и проверки, а также отмечает оставшиеся проверки в среде планировщика или хранилища. Это значит, что часть проверок всё равно придётся выполнить в вашей среде.

Какие задачи решает

  • проследить путь данных от источника до хранилища
  • найти причину дубликатов при повторной обработке
  • проверить обработку опоздавших записей и порядок в потоке
  • снизить риск нарушения контракта при изменении схемы

Примеры запросов агенту

  • Поручи data-engineer проверить, почему повторная загрузка создаёт дубликаты.
  • Попроси data-engineer проследить путь данных от источника до хранилища и найти риск для схемы.
  • Поручи data-engineer оценить безопасное изменение пайплайна и перечислить нужные проверки.

Как установить data-engineer

Вручную: положить файлы

.codex/agents/data-engineer.toml

Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы о data-engineer

Как установить data-engineer в Codex?

Добавьте файл субагента по пути .codex/agents/data-engineer.toml.

Что делает data-engineer?

Он анализирует пайплайны данных: проверяет схемы, повторы, качество данных и обработку сбоев. Затем предлагает небольшое исправление и описывает проверки.

Что data-engineer проверяет при повторном запуске пайплайна?

Он оценивает, не дублируются и не теряются ли важные записи при повторной обработке, а также проверяет обработку ошибок и карантин данных.

Исходный текст

data-engineer.toml · MIT
# data-engineer

Use when a task needs ETL, ingestion, transformation, warehouse, or data-pipeline implementation and debugging.

Own data engineering as correctness, reliability, and lineage work for production pipelines.

Favor minimal, safe pipeline changes that preserve data contracts and reduce downstream breakage risk.

Working mode:
1. Map source-to-sink flow, schema boundaries, and transformation ownership.
2. Identify where correctness, ordering, or freshness assumptions can fail.
3. Implement the smallest coherent fix across ingestion, transform, or loading steps.
4. Validate one normal run, one failure/retry path, and one downstream contract edge.

Focus on:
- schema and data-shape contracts across ingestion and warehouse boundaries
- idempotency, replay behavior, and duplicate prevention in reprocessing
- batch/stream ordering, watermark, and late-arrival handling assumptions
- null/default handling and type coercion that can silently corrupt meaning
- data quality controls (completeness, uniqueness, referential integrity)
- observability and lineage signals for fast failure diagnosis
- backfill and migration safety for existing downstream consumers

Quality checks:
- verify transformed outputs preserve required business semantics
- confirm retry/replay behavior does not duplicate or drop critical records
- check error handling and dead-letter or quarantine paths for bad data
- ensure contract changes are versioned or flagged for downstream owners
- call out runtime validations needed in scheduler/warehouse environments

Return:
- exact pipeline segment and data contract analyzed or changed
- concrete failure mode or risk and why it occurs
- smallest safe fix and tradeoff rationale
- validations performed and remaining environment-level checks
- residual integrity risk and prioritized follow-up actions

Do not propose broad platform rewrites when a scoped pipeline fix resolves the issue unless explicitly requested by the parent agent.

© VoltAgent · MIT · VoltAgent/awesome-codex-subagents

Похожие субагенты

Все субагенты по теме «Данные и базы» →

Сначала — data-engineer от других авторов.

data-engineer VoltAgent Community Субагент data-engineer проектирует и настраивает конвейеры данных, ETL/ELT и инфраструктуру для аналитики. Вызывайте его, когда нужно разобраться с качеством данных или оркестрацией. CX Codex 3 194установок data-engineer Seth Hobson Субагент data-engineer для Claude Code проектирует пайплайны данных, хранилища и потоковую обработку. Работает с Apache Spark, dbt, Airflow и облачными платформами. CX Codex 3 194установок data-engineer qdhenry Субагент data-engineer проектирует и разбирает data-пайплайны, хранилища и потоковую обработку. Подходит для задач на Spark, Airflow и Kafka. CX Codex ★ 1 357звёзд репо data-engineer josstei Субагент data-engineer проектирует схемы баз данных, оптимизирует медленные SQL-запросы и строит ETL-пайплайны. Помогает подготовить безопасные миграции с обязательным откатом. CX Codex ★ 489звёзд репо data-pipeline Seth Hobson Команда data-pipeline для Claude Code проектирует и собирает пакетные и потоковые пайплайны данных. Она включается в задачах на загрузку, преобразование и контроль качества данных. CX Codex +1 ★ 42 780звёзд репо data-engineering-study-material reason-machines Скилл data-engineering-study-material для Claude Code объясняет концепции дата-инженерии и показывает примеры пайплайнов. Включается при изучении темы и подготовке к собеседованию. CX Codex +1 2 000установок data_engineer AgenticOrgLab Субагент data_engineer для Claude Code проектирует пакетные и потоковые конвейеры данных по требованиям к источникам, преобразованиям и качеству. На выходе он формирует спецификацию потока от источника до потребителя. CX Codex ★ 776звёзд репо data-engineering rohitg00 Скилл data-engineering для Claude Code помогает проектировать ETL-пайплайны, хранилища и обработку данных в Apache Spark. Помогает продумать проверки качества и схему витрины данных. CX Codex +1 ★ 2 858звёзд репо senior-data-engineer Alireza Rezvani Скилл senior-data-engineer для Claude Code помогает проектировать конвейеры данных и ETL/ELT-системы. Включается при настройке оркестрации, проверок качества и архитектуры хранилища. CX Codex +1 1 109установок sap-hana-cloud-data-intelligence secondsky Скилл sap-hana-cloud-data-intelligence для Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI и OpenCode. Помогает строить графы обработки данных, интеграции с ABAP-системами и ML-сценарии в SAP Data Intelligence Cloud. CX Codex +1 821установок

Из того же набора176

Весь набор →
machine-learning-engineer Субагент machine-learning-engineer настраивает надёжный инференс и устраняет расхождения между обучением и продакшеном. CX Codex ★ 6 505звёзд репо llm-architect Субагент llm-architect проверяет архитектуру LLM-процессов: от сборки контекста и работы инструментов до оценки качества. Подключайте его, когда проектируете или разбираете многошаговый сценарий. CX Codex ★ 6 505звёзд репо database-optimizer Субагент database-optimizer для анализа производительности базы данных. Находит узкие места в запросах, схеме и индексах, рекомендует высокоэффективные оптимизации с расчётом рисков. CX Codex ★ 6 505звёзд репо data-scientist Субагент data-scientist проводит статистический анализ и интерпретирует эксперименты, ориентируясь на проверку гипотез для принятия решений. CX Codex ★ 6 505звёзд репо data-analyst Субагент data-analyst для анализа метрик и тенденций. Отделяет сильные сигналы от шума, объясняет причины изменений и даёт рекомендации для принятия решений на основе данных. CX Codex ★ 6 505звёзд репо azure-databricks-platform-architect Субагент azure-databricks-platform-architect проектирует архитектуру платформы Azure Databricks: lakehouse, Unity Catalog, сетевую изоляцию и вычисления без лишних границ. CX Codex ★ 6 505звёзд репо ai-engineer Субагент ai-engineer для Codex, Claude Code и Cursor чинит сбои вызовов моделей на уровне оркестрации, инструментов и фолбэков. Разбирает сбои агентных функций, вызванные не промптом. CX Codex ★ 6 505звёзд репо ui-ux-tester Субагент ui-ux-tester для Codex проверяет интерфейс по документированным потокам: выявляет ошибки микровзаимодействий и валидации, оценивает доступность и ранжирует дефекты. CX Codex ★ 6 505звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой