Data Pipeline taste — промпт для ChatGPT: что делает и как установить
Промпт Data Pipeline taste для ChatGPT и Claude.ai задаёт инженерные правила проектирования пайплайнов данных. Помогает проектировать хранилища по схеме ELT и настраивать трансформации.
CC0-1.0 ★ 178 201 обновлён 2026-10-24
Открыть на GitHubЧто делает Data Pipeline taste
Промпт формулирует систему инженерных принципов дата-инженера с числовыми оценками уверенности для каждого тезиса. В правилах заложен приоритет подхода ELT: сырые данные сохраняются без изменений, а преобразования выполняются внутри хранилища через dbt или SQLMesh. Модели разделяются на слои raw, staging и mart, а дашбордам запрещён прямой доступ к сырым таблицам.
Внутри собраны требования к идемпотентности запусков, партиционированию по дате события, контрактам данных с источниками и оркестрации через Airflow, Dagster или Prefect без вычислений на воркерах. Промпт требует хранить время в UTC, маскировать PII на ранних этапах и запускать проверки тестами на уникальность, not-null и внешние ключи.
Для хранения файлов в дата-лейке промпт предписывает колоночный формат Parquet с явной схемой, а инкрементальные модели разрешает включать только тогда, когда полный пересчёт становится слишком медленным. Все метрики фиксируются в семантическом слое, исключая дублирование логики в отчётах.
Какие задачи решает
- Спроектировать слои хранилища raw, staging и mart без чтения сырых таблиц дашбордами
- Настроить проверку качества данных через тесты на уникальность, not-null и связи моделей
- Задать правила версионирования SQL-трансформаций в dbt или SQLMesh
Примеры запросов агенту
- Оцени архитектуру пайплайна по правилам Data Pipeline taste
- Сгенерируй структуру слоёв dbt с префиксами stg_ и fct_ по принципам Data Pipeline taste
- Проверь план оркестрации в Airflow с учётом требований к идемпотентности и воркерам
Как установить Data Pipeline taste
Как использовать
Вставьте текст в начало диалога или в инструкции проекта
Вручную: положить файлы
.claude/commands/prompts.csv.mdВопросы о Data Pipeline taste
Как установить Data Pipeline taste в ChatGPT?
В ChatGPT текст промпта копируется напрямую в окно диалога или в системные инструкции. Для Claude Code файл сохраняется по пути .claude/commands/prompts.csv.md.
Что делает Data Pipeline taste?
Промпт задаёт набор правил и стандартов дата-инженерии: структуру слоёв ELT, версионирование моделей, обработку PII и мониторинг задержки данных.
Какие инструменты оркестрации и трансформации упоминаются в промпте?
Трансформации моделируются через dbt или SQLMesh, а оркестрация строится поверх Airflow, Dagster или Prefect.
Исходный текст
prompts.csv · CC0-1.0
# Data Pipeline taste of a data engineer - Prefer ELT: land raw data unchanged first, then transform inside the warehouse. Confidence: 0.85 - Keep raw, staging and mart layers separate, and never let dashboards read from raw tables. Confidence: 0.90 - Model transformations in dbt (or SQLMesh) as version-controlled SQL with code review like any other code. Confidence: 0.90 - Make every job idempotent: rerunning a day must produce the same result without duplicates. Confidence: 0.95 - Partition large tables by event date and process data in date-bounded increments. Confidence: 0.85 - Backfills are a first-class operation with a documented command, not a manual one-off script. Confidence: 0.85 - Add tests for uniqueness, not-null, accepted values and referential integrity on every important model. Confidence: 0.90 - Define data contracts with upstream producers so schema changes fail in their CI, not in your pipeline. Confidence: 0.80 - Track freshness per source and alert when data is late, not only when a job fails. Confidence: 0.90 - Orchestrate with Airflow, Dagster or Prefect, and keep heavy computation out of the orchestrator workers. Confidence: 0.80 - Prefer asset-based orchestration that knows which tables depend on which over plain task graphs. Confidence: 0.70 - Store timestamps in UTC and convert to local time only in the presentation layer. Confidence: 0.95 - Use Parquet or another columnar format with explicit schemas for files in the lake. Confidence: 0.85 - Separate event time from processing time and handle late-arriving data explicitly. Confidence: 0.85 - Keep PII in as few tables as possible, mask or hash it early and document access in one place. Confidence: 0.90 - Use incremental models only after a full refresh becomes too slow; correctness first, cost second. Confidence: 0.75 - Name models consistently (stg_, int_, fct_, dim_) and document every column people actually query. Confidence: 0.80 - Use slowly changing dimension type 2 snapshots when history matters, not ad hoc audit columns. Confidence: 0.70 - Run pipelines in CI against a sample or zero-copy clone before deploying changes to production. Confidence: 0.80 - Monitor warehouse cost per model and kill queries that scan whole tables without partition filters. Confidence: 0.75 - Every metric has one owner and one definition in a semantic layer, not five versions in five dashboards. Confidence: 0.80
© f · CC0-1.0 · f/prompts.chat