# airflow-state-store

Скилл airflow-state-store помогает сохранять состояние задач и ассетов между повторами и запусками DAG в Airflow 3.3+, используя хранилища ключ-значение и crash-safe миксин для операторов, которые отправляют задачи во внешние системы.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 239 установок · ★ 463 у репозитория
- Автор: astronomer
- Лицензия: Apache-2.0 · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/astronomer/agents/tree/HEAD/skills/airflow-state-store/SKILL.md
- Обновлён: 2026-10-14
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/airflow-state-store

## Что делает

airflow-state-store предоставляет доступ к встроенным хранилищам `task_state_store` и `asset_state_store` из Airflow 3.3 (AIP-103), а также к `ResumableJobMixin` для операторов, которые отправляют работу на Databricks, Snowflake, BigQuery или другие платформы. `task_state_store` хранит состояние одной задачи между повторами — курсоры, смещения, ID работ. `asset_state_store` держит водяные знаки и метаданные на уровне ассета, переживая все запуски DAG.

Скилл помогает выявить антипаттерны в существующих DAG: использование `Variable.get()` и `Variable.set()` для состояния внутри задачи, `XCom` для выживания между повторами, ручную логику переподключения. Показывает, как правильно разделить submit-and-poll архитектуру, когда отдельная задача отправляет работу, а датчик её ждёт — зелёный submit не означает успех.

Требует Airflow 3.3+. На более ранних версиях `durable=True` не работает и операторы провайдеров используют шим, который каждый раз отправляет работу заново. Guidance по архитектуре submit-and-poll остаётся актуальна для любой версии.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add astronomer/agents --skill airflow-state-store -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/airflow-state-store/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/airflow-state-store/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add astronomer/agents --skill airflow-state-store -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/airflow-state-store/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add astronomer/agents --skill airflow-state-store -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/airflow-state-store/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install astronomer/agents skills/airflow-state-store
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/airflow-state-store/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add astronomer/agents --skill airflow-state-store -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/astronomer/agents --path skills/airflow-state-store
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/airflow-state-store/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add astronomer/agents --skill airflow-state-store -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/astronomer/agents/tree/HEAD/skills/airflow-state-store/SKILL.md

## Когда брать
- восстановить задачу с того же места после падения воркера, а не переделывать с начала
- сохранить ID работы, отправленной на Databricks или BigQuery, чтобы retry не создавал дубль
- отследить последнюю обработанную строку или курсор поверх повторов
- хранить водяной знак для ассета, общий для всех запусков DAG
- сделать DAG crash-safe, когда отправляешь задачу во внешнюю систему и ждёшь результата

## Примеры запросов агенту
- Покажи, как использовать `task_state_store` для чекпойнта курсора в задаче обработки записей
- Как разделить submit и polling на два таска в DAG с отправкой на Databricks
- Зачем нельзя использовать `Variable.set()` для сохранения ID работы между повторами

## Похожие
- [airflow-expert](https://affpapa.org/nevibecode/skills/airflow-expert.md) — скилл · 174 установки
- [apache-airflow-orchestration](https://affpapa.org/nevibecode/skills/apache-airflow-orchestration.md) — скилл · 2400 установок
- [airflow-dag-patterns](https://affpapa.org/nevibecode/skills/airflow-dag-patterns.md) — скилл · 11000 установок
- [managed-airflow-dag-authoring](https://affpapa.org/nevibecode/skills/managed-airflow-dag-authoring.md) — скилл · 4100 установок
- [managed-airflow-dag-troubleshooting](https://affpapa.org/nevibecode/skills/managed-airflow-dag-troubleshooting.md) — скилл · 3500 установок
- [principle-separate-before-serializing-shared-state](https://affpapa.org/nevibecode/skills/principle-separate-before-serializing-shared-state.md) — скилл · 10100 установок

Из того же набора: [astronomer/agents](https://affpapa.org/nevibecode/by/astronomer/agents.md) — 34 карточки

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
