К основному содержанию
промпт GP ChatGPT

Data Pipeline taste — промпт для ChatGPT: что делает и как установить

Промпт Data Pipeline taste для ChatGPT и Claude.ai задаёт инженерные правила проектирования пайплайнов данных. Помогает проектировать хранилища по схеме ELT и настраивать трансформации.

CC0-1.0 ★ 178 201 обновлён 2026-10-24

Открыть на GitHub

Что делает Data Pipeline taste

Промпт формулирует систему инженерных принципов дата-инженера с числовыми оценками уверенности для каждого тезиса. В правилах заложен приоритет подхода ELT: сырые данные сохраняются без изменений, а преобразования выполняются внутри хранилища через dbt или SQLMesh. Модели разделяются на слои raw, staging и mart, а дашбордам запрещён прямой доступ к сырым таблицам.

Внутри собраны требования к идемпотентности запусков, партиционированию по дате события, контрактам данных с источниками и оркестрации через Airflow, Dagster или Prefect без вычислений на воркерах. Промпт требует хранить время в UTC, маскировать PII на ранних этапах и запускать проверки тестами на уникальность, not-null и внешние ключи.

Для хранения файлов в дата-лейке промпт предписывает колоночный формат Parquet с явной схемой, а инкрементальные модели разрешает включать только тогда, когда полный пересчёт становится слишком медленным. Все метрики фиксируются в семантическом слое, исключая дублирование логики в отчётах.

Какие задачи решает

  • Спроектировать слои хранилища raw, staging и mart без чтения сырых таблиц дашбордами
  • Настроить проверку качества данных через тесты на уникальность, not-null и связи моделей
  • Задать правила версионирования SQL-трансформаций в dbt или SQLMesh

Примеры запросов агенту

  • Оцени архитектуру пайплайна по правилам Data Pipeline taste
  • Сгенерируй структуру слоёв dbt с префиксами stg_ и fct_ по принципам Data Pipeline taste
  • Проверь план оркестрации в Airflow с учётом требований к идемпотентности и воркерам

Как установить Data Pipeline taste

Как использовать

Вставьте текст в начало диалога или в инструкции проекта

Вопросы о Data Pipeline taste

Как установить Data Pipeline taste в ChatGPT?

В ChatGPT текст промпта копируется напрямую в окно диалога или в системные инструкции. Для Claude Code файл сохраняется по пути .claude/commands/prompts.csv.md.

Что делает Data Pipeline taste?

Промпт задаёт набор правил и стандартов дата-инженерии: структуру слоёв ELT, версионирование моделей, обработку PII и мониторинг задержки данных.

Какие инструменты оркестрации и трансформации упоминаются в промпте?

Трансформации моделируются через dbt или SQLMesh, а оркестрация строится поверх Airflow, Dagster или Prefect.

Исходный текст

prompts.csv · CC0-1.0
# Data Pipeline taste of a data engineer
- Prefer ELT: land raw data unchanged first, then transform inside the warehouse. Confidence: 0.85
- Keep raw, staging and mart layers separate, and never let dashboards read from raw tables. Confidence: 0.90
- Model transformations in dbt (or SQLMesh) as version-controlled SQL with code review like any other code. Confidence: 0.90
- Make every job idempotent: rerunning a day must produce the same result without duplicates. Confidence: 0.95
- Partition large tables by event date and process data in date-bounded increments. Confidence: 0.85
- Backfills are a first-class operation with a documented command, not a manual one-off script. Confidence: 0.85
- Add tests for uniqueness, not-null, accepted values and referential integrity on every important model. Confidence: 0.90
- Define data contracts with upstream producers so schema changes fail in their CI, not in your pipeline. Confidence: 0.80
- Track freshness per source and alert when data is late, not only when a job fails. Confidence: 0.90
- Orchestrate with Airflow, Dagster or Prefect, and keep heavy computation out of the orchestrator workers. Confidence: 0.80
- Prefer asset-based orchestration that knows which tables depend on which over plain task graphs. Confidence: 0.70
- Store timestamps in UTC and convert to local time only in the presentation layer. Confidence: 0.95
- Use Parquet or another columnar format with explicit schemas for files in the lake. Confidence: 0.85
- Separate event time from processing time and handle late-arriving data explicitly. Confidence: 0.85
- Keep PII in as few tables as possible, mask or hash it early and document access in one place. Confidence: 0.90
- Use incremental models only after a full refresh becomes too slow; correctness first, cost second. Confidence: 0.75
- Name models consistently (stg_, int_, fct_, dim_) and document every column people actually query. Confidence: 0.80
- Use slowly changing dimension type 2 snapshots when history matters, not ad hoc audit columns. Confidence: 0.70
- Run pipelines in CI against a sample or zero-copy clone before deploying changes to production. Confidence: 0.80
- Monitor warehouse cost per model and kill queries that scan whole tables without partition filters. Confidence: 0.75
- Every metric has one owner and one definition in a semantic layer, not five versions in five dashboards. Confidence: 0.80

© f · CC0-1.0 · f/prompts.chat

Похожие промпты

Все промпты по теме «Данные и базы» →
data-engineering travisjneuman Скилл data-engineering для Claude Code помогает проектировать конвейеры данных и схемы хранилищ. Включается при настройке ETL/ELT, потоковой обработки и преобразований dbt. CX Codex +1 105установок data-pipeline-builder OneWave-AI Скилл data-pipeline-builder проектирует и собирает ETL/ELT-пайплайн: код на Python или SQL, DAG для Airflow, проверки качества и спецификацию в data-pipeline-spec.md. CX Codex +1 252установок data-engineer Seth Hobson Субагент data-engineer для Claude Code проектирует пайплайны данных, хранилища и потоковую обработку. Работает с Apache Spark, dbt, Airflow и облачными платформами. CX Codex 3 194установок senior-data-engineer Alireza Rezvani Скилл senior-data-engineer для Claude Code помогает проектировать конвейеры данных и ETL/ELT-системы. Включается при настройке оркестрации, проверок качества и архитектуры хранилища. CX Codex +1 1 109установок data-pipeline-engineer curiositech Скилл data-pipeline-engineer проектирует пайплайны данных, слои Medallion, DAG для Airflow и модели dbt. Пригодится при настройке пакетной или потоковой обработки данных. CX Codex +1 215установок zomato-ai-data-engineering-pipeline reason-machines Скилл zomato-ai-data-engineering-pipeline помогает развернуть пакетный конвейер аналитики доставки еды через S3, Snowflake, dbt, Airflow и настроить слой OpenAI для обогащения отзывов и text-to-SQL. CX Codex +1 128установок

Из того же набора218

Весь набор →
Feature Flag Rollout taste Промпт Feature Flag Rollout taste для ChatGPT и Claude.ai формулирует правила и инженерные привычки по выкатке фиче-флагов. Задаёт чёткие критерии разделения деплоя и релиза новой функциональности. GP ChatGPT ★ 178 201звёзд репо LLM Application taste Промпт LLM Application taste для ChatGPT с принципами проектирования приложений на базе языковых моделей. Он помогает продумать оценку ответов, работу с инструментами и защиту данных. GP ChatGPT ★ 178 201звёзд репо FastAPI Service taste Промпт FastAPI Service taste для ChatGPT и Claude.ai задаёт инженерные правила проектирования бэкенда на FastAPI. Фиксирует архитектурные соглашения перед генерацией сервисов. GP ChatGPT ★ 178 201звёзд репо Jetpack Compose Android App taste Промпт Jetpack Compose Android App taste для ChatGPT задаёт Kotlin- и Compose-правила для Android-приложения. Он описывает архитектуру экранов, работу с состоянием, тесты и сборку. GP ChatGPT ★ 178 201звёзд репо Django Web App taste Промпт Django Web App taste для ChatGPT задаёт стиль Python-разработки на Django. Он помогает проектировать приложения, API, тесты и настройки окружения по конкретным инженерным правилам. GP ChatGPT ★ 178 201звёзд репо Python Auto Typer with Customizable Delay Промпт Python Auto Typer with Customizable Delay для ChatGPT, Claude.ai и Claude Code создаёт десктопное приложение на Python с графическим интерфейсом для автоматического ввода текста. Код настраивает задержку и сборку в exe-файл Windows. GP ChatGPT ★ 178 201звёзд репо SwiftUI iOS App taste Промпт SwiftUI iOS App taste для ChatGPT и Claude.ai. Набор правил для SwiftUI-проекта: как строить экраны, где хранить состояние и что делать с устаревшими API. GP ChatGPT ★ 178 201звёзд репо Event-Driven Architecture taste Промпт Event-Driven Architecture taste задаёт набор правил распределённых систем: использование событий в прошедшем времени, outbox паттерн, идемпотентные консьюмеры и саги вместо распределённых транзакций. GP ChatGPT ★ 178 201звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой