К основному содержанию
скилл CX Codex

harvard-artifacts-etl-pipeline — скилл для Claude Code: ETL и дашборды

Скилл для ИИ-агента: помогает собрать пайплайн от Harvard Art Museums API до графиков в Streamlit.

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add reason-machines/data-skills --skill harvard-artifacts-etl-pipeline -a claude-code
Открыть на GitHub

Что делает harvard-artifacts-etl-pipeline

Скилл описывает полный маршрут данных: запросы к Harvard Art Museums API с постраничной навигацией, разбор вложенного JSON на таблицы, загрузка в MySQL или TiDB Cloud, аналитические SQL-запросы и графики Plotly в Streamlit. Агент получает готовые шаблоны кода для каждого шага.

Внутри — примеры функций на Python: fetch_artifacts тянет страницы по 100 записей и останавливается, когда страницы кончились, extract_metadata, extract_media и extract_colors раскладывают ответ API на три таблицы. Схема БД тоже приложена: artifactmetadata, artifactmedia и artifactcolors со связью по artifact_id.

Заранее понадобится ключ HARVARD_API_KEY и доступ к базе — хост, порт, пользователь и пароль прописываются в .env. Без ключа API запросы вернут ошибку, поэтому это первое, что стоит проверить. Зависимости ставятся из requirements.txt: streamlit, pandas, requests, mysql-connector-python, plotly, python-dotenv.

Какие задачи решает

  • выгрузить объекты из Harvard Art Museums API постранично
  • разложить вложенный JSON музея на реляционные таблицы
  • залить метаданные и цвета артефактов в MySQL или TiDB Cloud
  • написать SQL-запросы по коллекции и медиа
  • собрать интерактивный дашборд на Streamlit с графиками Plotly

Примеры запросов агенту

  • Помоги написать ETL-пайплайн: выгрузи объекты из Harvard Art Museums API и разложи их по таблицам
  • Сделай SQL-запросы по таблице artifactmetadata и построй графики Plotly в Streamlit
  • Настрой постраничную выгрузку из Harvard API и загрузку данных в TiDB Cloud

Как установить harvard-artifacts-etl-pipeline

1Через Skills CLI (Vercel)

npx skills add reason-machines/data-skills --skill harvard-artifacts-etl-pipeline -a claude-code

2Вручную: положить файлы

~/.claude/skills/harvard-artifacts-etl-pipeline/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/harvard-artifacts-etl-pipeline/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о harvard-artifacts-etl-pipeline

Как установить harvard-artifacts-etl-pipeline в Claude?

Выполните npx skills add reason-machines/data-skills --skill harvard-artifacts-etl-pipeline -a claude-code. Скилл окажется в ~/.claude/skills/harvard-artifacts-etl-pipeline/SKILL.md.

Что делает harvard-artifacts-etl-pipeline?

Помогает агенту строить ETL-пайплайны и аналитические дашборды на данных Harvard Art Museums API: выгрузка, преобразование JSON в SQL-таблицы, запросы и визуализация в Streamlit.

Что нужно подготовить до запуска пайплайна?

Ключ HARVARD_API_KEY и доступ к базе MySQL или TiDB Cloud. Учётные данные базы и ключ API хранятся в файле .env.

Похожие скиллы

Все скиллы по теме «Данные и базы» →
ETL Pipeline Claude Office Skills Скилл для проектирования и автоматизации ETL-пайплайнов: извлечение из баз и API, трансформации, загрузка в хранилища. Пригодится, когда нужно собрать регулярный поток данных. CX Codex +1 4 800установок etl-connector-strategy Samuel Berthe Помогает решить, стоит ли SaaS-продукту появляться источником в чужих ETL/ELT-каталогах, на какой платформе и какой путь сборки выбрать. CX Codex +1 8 000установок pyspark-etl-best-practices-cursorrules-prompt-file PatrickJS Правило для Cursor, которое задаёт стиль PySpark-кода: F.col(), явные joins, select вместо withColumn и работа с Iceberg. ★ 41 011звёзд репо data-pipeline claude-office-skills Скилл для сборки ETL-конвейеров: извлечение из API и баз, преобразование, загрузка в хранилища и таблицы. Пригодится, когда нужно регулярно сводить данные из нескольких источников. CX Codex +1 4 900установок checking-freshness astronomer Скилл смотрит, когда таблица обновлялась в последний раз, и говорит, можно ли на этих данных строить отчёт. CX Codex +1 1 000установок streamlit-to-marimo marimo-team Переводит приложение на Streamlit в ноутбук marimo: разбирает виджеты, состояние и кэш, собирает новый файл и проверяет его. CX Codex +1 2 300установок

Из того же набора22

harvard-artifacts-collection-analytics-pipeline Скилл собирает пайплайн от Harvard Art Museums API до дашборда: ETL, SQL-хранилище и визуализация на Streamlit. CX Codex +1 1 900установок iac-terraform-data-engineering Скилл для Claude и других ИИ-агентов: помогает описывать инфраструктуру AWS под данные в Terraform — бакеты S3, инстансы EC2, роли IAM. CX Codex +1 1 800установок iac-data-engineering-terraform Скилл с готовыми шаблонами Terraform для дата-инженерии: бакеты S3, инстансы EC2 и роли IAM. Пригодится, когда нужно поднять инфраструктуру под пайплайны декларативно. CX Codex +1 1 800установок terraform-data-engineering-infrastructure Скилл с шаблонами Terraform для дата-инженерии: S3 под дата-лейк, EC2 для обработки, IAM-роли. Пригодится, когда нужно поднять инфраструктуру на AWS без ручного клика по консоли. CX Codex +1 1 800установок data-analytics-skills-claude Набор скиллов помогает проверять качество данных, разбирать метрики и готовить спецификации дашбордов. Пригодится для анализа и объяснения результатов команде. CX Codex +1 1 300установок harvard-art-museum-data-engineering Скилл собирает ETL-пайплайн для Harvard Art Museums API: выгрузка артефактов, преобразование в таблицы, загрузка в SQL и дашборд на Streamlit. CX Codex +1 1 300установок harvard-art-museums-data-engineering Скилл для сборки ETL-пайплайнов на данных Harvard Art Museums API: нормализация в MySQL, SQL-аналитика и дашборд на Streamlit. CX Codex +1 843установок bigquery-agent-analytics-sdk Скилл для разбора телеметрии ИИ-агентов в BigQuery: восстановление трейсов, оценка через LLM-судью, поиск дрейфа поведения. CX Codex +1 768установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой