К основному содержанию
скилл CX Codex

databricks-2025 — скилл для Claude Code: что делает и как установить

Скилл databricks-2025 для Claude Code содержит шаблоны интеграции Azure Data Factory с Databricks и коннекторами 2025 года для пайплайнов данных.

MIT 168 установок ★ 66 обновлён 2026-06-18

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add JosiahSiegel/claude-plugin-marketplace --skill databricks-2025 -a claude-code
Открыть на GitHub

Что делает databricks-2025

Скилл содержит готовые шаблоны и правила перехода на активность DatabricksJob взамен устаревших вызовов Notebook, Python и JAR внутри ADF. Он задаёт правильную структуру JSON для передачи параметров через jobParameters, настройку бессерверных вычислений и авторизацию через управляемые удостоверения (Managed Identity).

Внутрь включены руководства по миграции на ServiceNowV2, параметры SSL для коннектора PostgreSQL, связка со Snowflake через KeyPair и оптимизация Spark 3.3 в Mapping Data Flows с адаптивным выполнением запросов. Отдельное внимание уделено требованиям обязательной MFA в Azure с октября 2025 года: скилл помогает строить пайплайны на системных и пользовательских MSI, которые не ломаются интерактивным входом.

В связанных сервисах Databricks параметры кластера указывать нельзя: вычислительными ресурсами теперь целиком управляет сама задача Databricks Job.

Какие задачи решает

  • перевести пайплайны ADF с устаревшего Notebook Activity на современный DatabricksJob
  • настроить авторизацию ADF к Databricks через Managed Identity без персональных токенов
  • мигрировать устаревший коннектор ServiceNow на версию ServiceNowV2
  • сконфигурировать подключение к Snowflake с проверкой подлинности по KeyPair через Key Vault
  • включить Adaptive Query Execution и динамическое партиционирование в Spark 3.3 для Mapping Data Flows

Примеры запросов агенту

  • Покажи JSON для активности DatabricksJob в ADF с передачей параметров через jobParameters
  • Сгенерируй шаблон linked service для Databricks с аутентификацией MSI без явного указания кластера
  • Переведи пайплайн с коннектора ServiceNow V1 на ServiceNowV2Source

Как установить databricks-2025

1Через Skills CLI (Vercel)

npx skills add JosiahSiegel/claude-plugin-marketplace --skill databricks-2025 -a claude-code

2Вручную: положить файлы

~/.claude/skills/databricks-2025/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/databricks-2025/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о databricks-2025

Как установить databricks-2025 в Claude Code?

Выполните в терминале команду npx skills add JosiahSiegel/claude-plugin-marketplace --skill databricks-2025 -a claude-code. Файл скилла будет сохранён по пути ~/.claude/skills/databricks-2025/SKILL.md.

Что делает этот скилл?

Он предоставляет вашему ИИ-ассистенту актуальные шаблоны JSON, рекомендации по миграции коннекторов и правила связывания Azure Data Factory с Databricks по стандартам 2025 года.

Почему скилл запрещает настраивать кластер внутри linked service?

В новой модели DatabricksJob вычислениями управляет само задание в рабочей области Databricks, по умолчанию используя бессерверный режим, поэтому параметры кластера в ADF не задаются.

Исходный текст

SKILL.md · MIT
---
name: databricks-2025
description: |
  ADF + Databricks 2025 integration patterns.
  PROACTIVELY activate for: (1) Databricks Job activity in ADF, (2) DatabricksJob (preview) vs DatabricksNotebook activity, (3) ServiceNow V2 connector, (4) ADF managed identity authentication for Databricks, (5) Databricks serverless linked services, (6) Snowflake V2 connector, (7) Databricks job parameters and outputs, (8) MFA enforcement and authentication updates, (9) Unity Catalog integration, (10) Delta Live Tables orchestration from ADF.
  Provides: Databricks linked service templates (PAT, MSI, serverless), DatabricksJob activity examples, parameter passing recipes, and authentication migration guidance.
---

# Azure Data Factory Databricks Integration 2025

## Databricks Job Activity (Recommended 2025)

**CRITICAL UPDATE (2025):** The Databricks Job activity is now the **ONLY recommended method** for orchestrating Databricks in ADF. Microsoft strongly recommends migrating from legacy Notebook, Python, and JAR activities.

### Quick Reference

- **Activity type:** `DatabricksJob` (NOT `DatabricksSparkJob` or `DatabricksNotebook`)
- **Parameter property:** `jobParameters` (NOT `parameters`)
- **Linked service auth:** Managed Identity (`"authentication": "MSI"`) recommended
- **Cluster config:** Do NOT specify cluster properties in linked service; the Databricks Job controls compute

### Why Databricks Job Activity?

| Feature | Notebook Activity (Legacy) | Job Activity (2025) |
|---------|---------------------------|---------------------|
| Compute | Must configure cluster in linked service | Serverless by default |
| Workflow tasks | Single notebook | Multi-task DAGs (notebook, Python, SQL, DLT) |
| Retry | ADF-level only | Job-level + task-level |
| Repair runs | Not supported | Rerun failed tasks only |
| Git integration | Limited | Full Databricks Git support + DABs |
| Lineage | None | Built-in data lineage |
| If/Else logic | Must use ADF control flow | Native If/Else task types |

### Benefits Summary

1. **Serverless Execution** -- No cluster specification needed; automatic serverless compute with faster startup and lower costs
2. **Advanced Workflow Features** -- Run As, Task Values, Conditional Execution, AI/BI Tasks, Repair Runs, Notifications, Queuing
3. **Centralized Job Management** -- Jobs defined once in Databricks workspace; single source of truth with Git-backed versioning
4. **Cost Optimization** -- Serverless compute (pay only for execution), job clusters (auto-terminating), spot instance support

For complete JSON examples of Job activity, linked service, and pipeline configurations, see `references/databricks-job-examples.md`.

## Connectors and Enhancements (2025+)

### ServiceNow V2 Connector (RECOMMENDED - V1 End of Support)

**ServiceNow V1 connector is at End of Support. Migrate to V2 immediately.**

| Feature | V1 | V2 |
|---------|----|----|
| Linked service type | `ServiceNow` | `ServiceNowV2` |
| Source type | `ServiceNowSource` | `ServiceNowV2Source` |
| Query builder | Custom | Aligns with ServiceNow condition builder |
| Performance | Standard | Enhanced extraction |
| OData support | No | Yes |

**Migration steps:** Update linked service type to `ServiceNowV2`, update source type to `ServiceNowV2Source`, test queries in ServiceNow UI condition builder, adjust timeouts.

### Enhanced PostgreSQL Connector

Improved performance with 2025 SSL enhancements: `enableSsl: true`, `sslMode: "Require"`.

### Enhanced Snowflake Connector

Improved performance with KeyPair authentication support and Key Vault secret integration.

### Managed Identity for Azure Storage

New managed identity support for Azure Table Storage and Azure Files connectors (system-assigned and user-assigned).

### Mapping Data Flows - Spark 3.3

Spark 3.3 now powers Mapping Data Flows with 30% faster processing, Adaptive Query Execution (AQE), dynamic partition pruning, improved caching, and better column statistics.

### Azure DevOps Server 2022 Support

Git integration now supports on-premises Azure DevOps Server 2022 via the `hostName` property.

For complete JSON examples of all connectors, see `references/connector-examples.md`.

## Managed Identity 2025 Best Practices

### User-Assigned vs System-Assigned

| Scenario | Recommendation |
|----------|---------------|
| Single ADF, simple setup | System-assigned |
| Multiple data factories | User-assigned (shared identity) |
| Complex multi-environment | User-assigned |
| Granular permission control | User-assigned |
| Identity lifecycle independence | User-assigned |

Use ADF's centralized **Credentials** feature to consolidate Microsoft Entra ID-based credentials across multiple linked services.

### MFA Enforcement (Enforced Since October 2025)

Azure MFA is mandatory for all interactive user logins. Impact on ADF:
- Managed identities are **UNAFFECTED** -- no MFA required for service accounts
- Service principals with certificate auth are the recommended alternative to secrets
- All interactive user logins require MFA

### Principle of Least Privilege

| Resource | Source Role | Sink Role |
|----------|-----------|-----------|
| Storage Blob | `Storage Blob Data Reader` | `Storage Blob Data Contributor` |
| SQL Database | `db_datareader` | `db_datareader` + `db_datawriter` |
| Key Vault | `Get` secrets only | `Get` secrets only |

For complete managed identity JSON examples, see `references/connector-examples.md`.

## Best Practices (2025)

1. **Use Databricks Job Activity (MANDATORY)** -- Stop using Notebook, Python, JAR activities. Define workflows in Databricks workspace with serverless compute.

2. **Managed Identity Authentication (MANDATORY)** -- Use managed identities for ALL Azure resources. Leverage Credentials feature for consolidation. MFA-compliant since October 2025.

3. **Monitor Job Execution** -- Track Databricks Job run IDs from ADF output, log parameters for auditability, set up alerts for failures, leverage built-in lineage.

4. **Optimize Spark 3.3 (Data Flows)** -- Enable AQE, use 4-8 partitions per core, broadcast joins for small dimensions, dynamic partition pruning.

## Resources

- [Databricks Job Activity](https://learn.microsoft.com/azure/data-factory/transform-data-using-databricks-spark-job)
- [ADF Connectors](https://learn.microsoft.com/azure/data-factory/connector-overview)
- [Managed Identity Authentication](https://learn.microsoft.com/azure/data-factory/data-factory-service-identity)
- [Mapping Data Flows](https://learn.microsoft.com/azure/data-factory/concepts-data-flow-overview)

## Progressive Disclosure References

- **Databricks Job Examples**: `references/databricks-job-examples.md` - Complete JSON for Job activity, linked services, pipeline, and Databricks workspace job definition
- **Connector Examples**: `references/connector-examples.md` - Complete JSON for ServiceNow V2, PostgreSQL, Snowflake, Azure Storage MI, Mapping Data Flows, and Azure DevOps Server

© JosiahSiegel · MIT · JosiahSiegel/claude-plugin-marketplace

Похожие скиллы

Все скиллы по теме «Данные и базы» →
databricks-serverless-migration databricks Скилл databricks-serverless-migration переводит ноутбуки, джобы и пайплайны Databricks с классических кластеров на serverless compute. Проверяет совместимость кода и даёт готовые исправления. CX Codex +1 701установок databricks-iceberg databricks Скилл databricks-iceberg для создания и управления таблицами Apache Iceberg на Databricks, включая синхронизацию с Delta через UniForm и доступ внешних движков через REST Catalog. CX Codex +1 327установок sql-queries официальный anthropics Скилл sql-queries помогает писать и оптимизировать запросы под диалекты PostgreSQL, Snowflake, BigQuery, Redshift и Databricks SQL. Полезен при миграциях и расчёте витрин. CX Codex +1 4 700установок migrating-dbt-project-across-platforms dbt-labs Скилл migrating-dbt-project-across-platforms помогает перенести dbt-проект между хранилищами данных с помощью dbt Fusion. Он находит различия в SQL-диалектах и сверяет логику через unit-тесты. CX Codex +1 531установок databricks-expert PCL Team Скилл databricks-expert для Claude Code подключает агенту практики Databricks: кластеры, Delta Lake, PySpark и MLflow. Разбирает медленные пайплайны и сбои на join. CX Codex +1 215установок oracle-ai-data-platform-workbench-databricks-migrator Oracle Плагин oracle-ai-data-platform-workbench-databricks-migrator для Claude Code переносит ноутбуки, задания и DDL каталогов из Databricks в Oracle AIDP. ★ 62звёзд репо

Из того же набора96

Весь набор →
powershell-2025-changes Скилл powershell-2025-changes для Claude Code собирает календарь ломающих изменений PowerShell в 2025 году и команды для перехода на замену. CX Codex +1 174установок azure-well-architected-framework Скилл azure-well-architected-framework проводит аудит облачной архитектуры в Azure по пяти столпам WAF и даёт готовые команды Azure CLI. CX Codex +1 174установок windows-git-bash-paths Скилл windows-git-bash-paths для Claude Code объясняет работу с путями Windows и Git Bash в SSDT, SqlPackage и DACPAC. Показывает, как избежать преобразования аргументов SqlPackage в пути. CX Codex +1 173установок index-strategies Скилл index-strategies помогает проектировать и оптимизировать индексы в SQL Server: от кластеризованных и покрывающих до фильтрованных и columnstore. CX Codex +1 172установок adf-validation-rules Скилл adf-validation-rules проверяет ограничения Azure Data Factory: вложенность активностей, лимиты пайплайнов и типовые ошибки валидации. Пригодится при сборке и отладке ADF. CX Codex +1 168установок azure-openai-2025 Скилл azure-openai-2025 собирает справочник по моделям Azure OpenAI 2025 года, деплою через az, SKU и квотам, а также Python SDK. Помогает при переносе работы с моделями в Azure. CX Codex +1 167установок github-actions-2025 Скилл github-actions-2025 помогает настроить пайплайны с новыми возможностями GitHub Actions: раннерами на 1 vCPU, неизменяемыми релизами и переходом на Node24. CX Codex +1 166установок defender-for-devops Скилл defender-for-devops для Claude Code помогает добавить проверки безопасности в Azure Pipelines. Активируется при настройке MSDO, сканировании кода, зависимостей, контейнеров и IaC. CX Codex +1 166установок

Ещё в каталоге

harvard-art-museum-data-engineering reason-machines Скилл harvard-art-museum-data-engineering для Claude Code помогает собирать конвейер данных и аналитику по коллекции Harvard Art Museums. Включается при запросах к API музея, подготовке SQL-хранилища или создании дашборда. CX Codex +1 1 300установок data-anomaly-detector datadrivenconstruction Скилл data-anomaly-detector для Claude Code ищет аномалии в строительных данных статистическими и ML-методами. Находит выбросы в расходах, отклонения сроков и скачки производительности. CX Codex +1 115установок data-profiler datadrivenconstruction Скилл data-profiler для Claude Code анализирует таблицы со строительными данными. Выявляет пропуски, дубликаты, аномалии в сметах и сопоставляет форматы шифров до загрузки в ETL. CX Codex +1 115установок linkfox-zhihuiya-description-data-translated linkfox-ai Скилл linkfox-zhihuiya-description-data-translated для Claude Code, Codex и Cursor загружает перевод описания патента из PatSnap на китайском, английском или японском языке. Ищет по ID или номеру публикации, включая патентные семейства. CX Codex +1 234установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой