К основному содержанию
скилл CX Codex

sre-data-reliability — скилл для Claude Code: надёжность данных

Скилл sre-data-reliability для Claude Code помогает проектировать и проверять конвейеры данных, планировщики задач, резервное копирование и восстановление. Он включается при работе с целостностью данных и SRE-практиками.

Apache-2.0 ★ 67 обновлён 2026-10-22

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add paulip114/sre-practice-skills --skill sre-data-reliability -a claude-code
Открыть на GitHub

Что делает sre-data-reliability

Скилл помогает находить риски потери данных и сбои в конвейерах, периодических заданиях и процедурах восстановления. Он охватывает SLO свежести и корректности, идемпотентность этапов, обработку опоздавших записей и проверку входных данных. При проверке резервного копирования учитывает, что репликация переносит повреждения вместе с данными.

Для восстановления предлагает задавать RPO и RTO для каждого набора данных, регулярно проверять восстановление из резервных копий и поддерживать точечный откат. Для распределённых заданий рассматривает выбор лидера, сохранение состояния запуска и контроль пропущенных или затянувшихся запусков. Медленное повреждение может попасть во все недавние копии, поэтому описаны отдельное хранение резервов и ранняя проверка целостности.

Какие задачи решает

  • определить SLO свежести и корректности конвейера
  • сделать повторный запуск этапов безопасным
  • спланировать восстановление данных с заданными RPO и RTO
  • проверить распределённый планировщик на пропуски и двойные запуски

Примеры запросов агенту

  • Проверь конвейер данных: предложи SLO свежести и корректности.
  • Разбери резервное копирование и план восстановления для таблицы пользователей.
  • Проверь, как распределённый планировщик обрабатывает пропущенные и повторные запуски.

Как установить sre-data-reliability

1Через Skills CLI (Vercel)

npx skills add paulip114/sre-practice-skills --skill sre-data-reliability -a claude-code

2Вручную: положить файлы

~/.claude/skills/sre-data-reliability/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/sre-data-reliability/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о sre-data-reliability

Как установить sre-data-reliability в Claude Code?

Выполни npx skills add paulip114/sre-practice-skills --skill sre-data-reliability -a claude-code. Файл скилла находится по пути ~/.claude/skills/sre-data-reliability/SKILL.md.

Что делает sre-data-reliability?

Помогает проектировать и проверять конвейеры данных, периодические задания, защиту целостности и восстановление из резервных копий.

Какие темы охватывает скилл для резервного копирования?

Он рассматривает RPO и RTO, тесты восстановления, точечное восстановление и хранение копий отдельно от основной системы. Также описывает раннее обнаружение повреждений данных.

Исходный текст

SKILL.md · Apache-2.0
---
name: sre-data-reliability
description: Use when designing, operating or reviewing data pipelines, scheduled/cron jobs, backups and restores, or data integrity protections — pipeline SLOs, idempotency, handling stragglers and hot spots, distributed cron, defense in depth against data loss, and recovery testing. Based on Google SRE practice.
---

# Data Pipelines, Scheduled Jobs and Data Integrity

## Data integrity: what users need is restores, not backups

Users judge you by whether their data is there and correct when they ask for it. A backup that has never been restored is a hope, not a plan.

### Threat model

Data loss comes from many combinations of:
- **Root cause**: user error, application bugs, operator/automation error, infrastructure failure, malicious action, migration bugs.
- **Scope**: wide (many entities) vs. narrow (one user/object).
- **Rate**: sudden (big bang) vs. slow and creeping (a bug corrupting a little data each day for months).

Slow, creeping corruption is the most dangerous: by the time it's noticed, it's in every recent backup and replica.

### Defense in depth

1. **First layer — soft deletion / undo**: deleted data goes to a trash/tombstone state for a retention period (days to weeks) before purge; users and support can undo. Protects against user and application errors.
2. **Second layer — backups and recovery**: versioned backups with retention long enough to catch slow corruption, stored in a separate failure domain and administrative domain (so the same bug or operator mistake can't delete both). Replication is **not** a backup — it faithfully replicates corruption and deletes.
3. **Third layer — early detection**: continuous **out-of-band validation** that checks data invariants (referential integrity, counts, checksums, business rules) and alerts on drift. Detection time is what bounds how far back you need to restore.

### Recovery

- Define **RPO** (how much data loss is tolerable) and **RTO** (how fast you must recover) per dataset, and design backups to meet them.
- **Test restores continuously** and automatically, end to end, from real backups; measure time to restore. Alert when a restore test fails.
- Support **partial/point restores** (one user, one table, one time range), not just "restore everything".
- Keep tooling and runbooks for recovery as production-grade as serving code.

## Data pipelines

### Design

- Prefer **continuous/streaming or frequent small batches** over huge periodic batches when freshness matters; big periodic jobs create load spikes ("thundering herds") and long recovery after failure.
- Make every stage **idempotent** and re-runnable; write outputs atomically (write then rename/commit).
- Define pipeline SLOs: **freshness**, **correctness**, **coverage/completeness**, and end-to-end latency (`sre-slos-and-error-budgets`).
- Handle **stragglers and hot spots**: split work into many small shards, rebalance dynamically, avoid skewed keys.
- **Schema changes and migrations**: versioned schemas, backward/forward compatible readers, dual-writes and backfills staged and verified.
- Isolate pipelines by priority so a large low-priority backfill can't starve a critical job.
- Plan dependencies: know upstream sources, their SLOs, and what happens when they are late or bad; validate inputs and quarantine bad records instead of failing whole runs or silently passing garbage.

### Operating

- Monitor: freshness/lag at each stage, throughput, backlog, error/quarantine counts, data quality checks.
- Alert on SLO (e.g. "data older than X for > Y% of reads"), not on every task failure.
- Keep runbooks for: reprocessing a time range, skipping/quarantining poison inputs, backfills, and rolling back a bad output version.
- Canary pipeline code and config changes on a subset of data and compare output against the previous version before full rollout.

## Distributed cron / scheduled jobs

- Run the scheduler itself redundantly with leader election via a consensus system, so one machine's failure doesn't skip or double-run jobs.
- Persist launch state durably: record intent **before** launching and success **after**, so a new leader can tell whether a job ran.
- Make jobs **idempotent** or have them check for prior completion; decide explicitly whether a missed run should be skipped or run late, and whether a double run is acceptable.
- **Spread start times** (jitter, hashed minutes) to avoid everyone running at :00 and overloading shared systems.
- Monitor for missed runs, overruns (job still running at next start), and failures.

## Review checklist

- [ ] RPO/RTO defined per dataset; backups meet them?
- [ ] Backups in separate failure + administrative domain; retention covers slow corruption?
- [ ] Soft-delete / undo for user-facing deletions?
- [ ] Automated, end-to-end restore tests with alerting?
- [ ] Out-of-band data validation running?
- [ ] Pipeline stages idempotent, atomic outputs, freshness/correctness SLOs?
- [ ] Scheduled jobs survive scheduler failure without skipping or double-running?

## Sources

- SRE book ch. 24 Distributed Periodic Scheduling with Cron — https://sre.google/sre-book/distributed-periodic-scheduling/
- SRE book ch. 25 Data Processing Pipelines — https://sre.google/sre-book/data-processing-pipelines/
- SRE book ch. 26 Data Integrity — https://sre.google/sre-book/data-integrity/
- Workbook ch. 13 Data Processing Pipelines — https://sre.google/workbook/data-processing/

© paulip114 · Apache-2.0 · paulip114/sre-practice-skills

Похожие скиллы

Все скиллы по теме «DevOps и инфраструктура» →
google-cloud-waf-reliability официальный google Скилл google-cloud-waf-reliability для Claude Code оценивает надёжность рабочих нагрузок Google Cloud. Помогает проектировать отказоустойчивость, резервное копирование и восстановление после сбоев. CX Codex +1 14 039установок gke-reliability официальный google Скилл gke-reliability для Claude Code, Gemini CLI и Codex, который настраивает надёжность рабочих нагрузок GKE: PodDisruptionBudget, пробы здоровья и topology spread constraints. CX Codex +1 6 500установок sre-engineer https://github.com/Jeffallan Скилл sre-engineer помогает рассчитать бюджет ошибок, задать SLO, настроить алерты по четырём золотым сигналам и убрать рутину. Пригодится при настройке надёжности сервисов. CX Codex +1 5 700установок axiom-sre axiomhq Скилл axiom-sre для расследования инцидентов и продакшн-дебага: ведёт агента по гипотезам и системному триажу, умеет ходить в Axiom, Grafana, Pyroscope, Kubernetes и Slack. CX Codex +1 5 500установок observability-service-reliability elastic Скилл observability-service-reliability для Claude Code: выбирает SLI, назначает достижимую цель и ведёт SLO в Elastic Observability через Kibana API. Разбирает шумные алерты и несходящийся бюджет ошибок. CX Codex +1 1 500установок observability-sre-triage elastic Скилл observability-sre-triage для Claude Code анализирует SLO, алерты, метрики APM/OTel и логи, чтобы оценить здоровье сервиса и причины деградации. Запускается при вопросах о здоровье, скорости или ошибках конкретного сервиса. CX Codex +1 1 500установок

Из того же набора8

sre-postmortem Скилл sre-postmortem для Claude Code помогает составлять и проверять безанкерные постмортемы по методологии Google SRE. Он убирает обвинительные формулировки и формулирует задачи на исправление систем. CX Codex +1 ★ 67звёзд репо sre-incident-response Скилл sre-incident-response для Claude Code структурирует действия команды при авариях на проде по практикам Google IMAG. Он задаёт роли, шаблоны сводок и алгоритм быстрой локализации сбоев. CX Codex +1 ★ 67звёзд репо sre-release-and-launch Скилл sre-release-and-launch для Claude Code помогает спланировать выпуск кода и подготовить сервис к запуску. Он подключается при настройке выкатки, анализа canary или проверки production readiness. CX Codex +1 ★ 67звёзд репо sre-monitoring-and-alerting Скилл sre-monitoring-and-alerting для Claude Code проектирует мониторинг и оповещения по практикам Google SRE. Включается при разборе SLO, метрик golden signals и расчёте burn rate. CX Codex +1 ★ 67звёзд репо sre-capacity-and-system-design Скилл sre-capacity-and-system-design для Claude Code помогает проектировать и проверять распределённые системы на масштабирование и устойчивость. Агент подключает его для расчётов ёмкости, балансировки нагрузки и разбора каскадных отказов. CX Codex +1 ★ 67звёзд репо sre-slos-and-error-budgets Скилл sre-slos-and-error-budgets для Claude Code помогает проектировать SLI и SLO по практикам Google SRE. Включается при согласовании error budget policy или оценке инцидентов. CX Codex +1 ★ 67звёзд репо sre-on-call-and-toil Скилл sre-on-call-and-toil для Claude Code помогает проектировать дежурства и снижать операционную нагрузку. Он подключается при настройке ротаций, разборе переработок и поиске задач для автоматизации. CX Codex +1 ★ 67звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой