К основному содержанию
скилл CX Codex

firecrawl-knowledge-ingest — скилл для Claude Code: парсинг

Скилл для сохранения сайтов документации, справочников и баз знаний в markdown или JSON. Работает с динамическим контентом, авторизацией и пагинацией — нужен API-ключ Firecrawl.

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add firecrawl/firecrawl-workflows --skill firecrawl-knowledge-ingest -a claude-code
Открыть на GitHub

Что делает firecrawl-knowledge-ingest

Скилл использует браузер Firecrawl для навигации по порталам и извлечения содержимого. Он понимает боковые меню, следует ссылкам пагинации, ждёт загрузки JavaScript и обрабатывает скрытый контент — всё то, что обычный парсер пропустит. На выходе получаешь структурированный JSON или markdown с метаданными: заголовки, разделы, даты обновления, ссылки на исходники.

Для работы нужен API-ключ Firecrawl. Скилл автоматически определяет нужна ли авторизация и какой формат вывода предпочесть. На входе — URL портала, на выходе — папка с файлами или единый документ с полной структурой. Скилл отслеживает прогресс парсинга и фиксирует ошибки доступа.

Презервирует код, таблицы и форматирование, удаляет навигационный шум. Подходит для миграции справок между сервисами, резервной копии документации или переноса контента в knowledge-base агента.

Какие задачи решает

  • Выгрузить документацию сайта в локальные файлы для оффлайна
  • Собрать справку со всеми разделами, включая скрытый контент
  • Нормализовать структуру портала в JSON для загрузки в агента
  • Распарсить docs с авторизацией и динамическим контентом
  • Перенести контент справки в другой формат или хранилище

Примеры запросов агенту

  • Спарси документацию нашего API c firecrawl-knowledge-ingest и сохрани в markdown
  • Извлеки всю справку со страницы help.example.com, включая коллапсы и вкладки
  • Загрузи базу знаний из портала в JSON для загрузки в контекст агента

Как установить firecrawl-knowledge-ingest

1Через Skills CLI (Vercel)

npx skills add firecrawl/firecrawl-workflows --skill firecrawl-knowledge-ingest -a claude-code

2Вручную: положить файлы

~/.claude/skills/firecrawl-knowledge-ingest/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/firecrawl-knowledge-ingest/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о firecrawl-knowledge-ingest

Как установить firecrawl-knowledge-ingest в Claude Code?

Выполни npx skills add firecrawl/firecrawl-workflows --skill firecrawl-knowledge-ingest -a claude-code, затем открой ~/.claude/skills/firecrawl-knowledge-ingest/SKILL.md. Скилл готов к использованию.

Что нужно для работы firecrawl-knowledge-ingest?

API-ключ Firecrawl — скилл требует его как обязательный параметр. Ключ используется для обращения к браузеру Firecrawl.

firecrawl-knowledge-ingest работает с авторизацией?

Да, скилл поддерживает парсинг защищённых портальных. Он определяет нужна ли авторизация и соблюдает границы доступа.

Исходный текст

SKILL.md · ISC
---
name: firecrawl-knowledge-ingest
description: "Export documentation portals, help centers and API reference sites into local markdown or JSON with Firecrawl browser, including pages that render with JavaScript, hide content behind collapsible navigation or paginate. Use when the user wants a docs site, help center or support knowledge base saved as files, even without an explicit request to scrape."
license: ISC
metadata:
  author: firecrawl
  version: "0.1.0"
  homepage: https://www.firecrawl.dev
  source: https://github.com/firecrawl/firecrawl-workflows
inputs:
  - name: FIRECRAWL_API_KEY
    description: Firecrawl API key for hosted Firecrawl requests.
    required: true
---

# Firecrawl Knowledge Ingest

Use this when a docs portal needs browser navigation, auth, pagination, or JS rendering.

## Onboarding Interview

Infer the portal URL, output format, auth needs, and page limit from context. If the portal is clear, proceed immediately.

Ask at most 1-3 concise questions only if blocked, such as the portal URL, whether authentication is required, or the desired output format.

## Firecrawl Collection Plan

Use Firecrawl browser to:

- open the portal and inspect navigation
- identify sections, categories, sidebar links, and article URLs
- follow sidebar navigation, next links, pagination, load-more controls, or search
- scrape article content as markdown
- extract metadata such as title, section, last updated date, author, and tags

Try Firecrawl map as a supplement for public URLs, but use browser navigation for auth-gated or JS-heavy content.

## Final Deliverable

```markdown
# Knowledge Ingest: [Portal]

## Summary
[Pages extracted, sections covered, limitations]

## Output
[JSON/markdown/merged file path or content]

## Sections
[Section names and article counts]

## Failed Or Restricted Pages
[Any access/loading issues]

## Sources
[URLs extracted]

## Rerun Inputs
workflow: firecrawl-knowledge-ingest
url: [portal url]
format: [json/markdown/merged]
max_pages: [number]
```

## JSON Shape

Use `source`, `url`, `extractedAt`, `totalArticles`, and `sections[]` with article `title`, `url`, `section`, `content`, and `metadata`.

## Quality Bar

- Preserve code examples, tables, and formatting.
- Strip nav chrome, headers, and footers.
- Track extraction progress and page failures.
- Respect authentication boundaries.

© firecrawl · ISC · firecrawl/firecrawl-workflows

Похожие скиллы

Все скиллы по теме «Браузер и парсинг» →
firecrawl-download firecrawl Скилл выкачивает веб-сайт или его разделы в локальные файлы markdown и скриншоты. Помогает подготовить офлайн-документацию для работы агента. CX Codex +1 79 900установок firecrawl-research glebis Скилл находит темы в markdown-заметках, выкачивает материалы через FireCrawl API и собирает структурированные отчёты. Пригодится для научной работы и подготовки библиографии. CX Codex +1 379установок firecrawl-crawl firecrawl Скилл для автоматической загрузки множества страниц с одного сайта или раздела по ссылкам. Нужен для сбора контента, документации или информации со связанных страниц. CX Codex +1 80 700установок pp-firecrawl Hiten Shah Управляет парсингом, краулингом и извлечением данных через Firecrawl CLI. Запускает поиск, сбор страниц и генерацию файлов LLMs.txt. CX Codex +1 610установок firecrawl-scraper davila7 Скилл для глубокого сбора данных с веб-страниц, скриншотов, разбора PDF и обхода сайтов через API Firecrawl. 407установок wiki-ingest Ar9av Забирает документы, папки, сырой текст и ссылки в вики Obsidian: перерабатывает их в связанные страницы и пропускает то, что уже разобрано. CX Codex +1 3 600установок

Из того же набора16

firecrawl-dashboard-reporting Считывает метрики с публичных и авторизованных дашбордов через Firecrawl и собирает их в отчёт, сводку или таблицу за период. CX Codex +1 31 600установок firecrawl-lead-gen Ищет и квалифицирует лиды через базу Alexandria в Firecrawl по должностям, компаниям и технологиям. Пригодится, когда нужен список контактов или целевых аккаунтов в виде таблицы или CSV. CX Codex +1 31 500установок firecrawl-lead-research Достаёт должность, компанию и фирмографику по людям и доменам, которые вы уже назвали, и дозаполняет таблицы. Пригодится перед звонком или когда старый список лидов пора проверить. CX Codex +1 31 400установок firecrawl-competitive-intel Скилл отслеживает тарифы, списки функций и обновления продуктов конкурентов через Firecrawl. Пригодится для регулярного мониторинга рынка и сбора структурированных отчётов. CX Codex +1 31 300установок firecrawl-company-directories Собирает списки компаний из каталогов в CSV, JSON или таблицу для исследований. Пригодится для портфелей, маркетплейсов, списков участников и спонсоров. CX Codex +1 31 400установок firecrawl-shop Скилл ищет товары в интернет-магазинах через Firecrawl, сравнивает цены с отзывами и подбирает покупку под бюджет. CX Codex +1 31 400установок firecrawl-qa Прогоняет развёрнутый сайт через Firecrawl и собирает QA-отчёт: ссылки, формы, мобильная вёрстка, консольные ошибки. Пригодится перед релизом и после деплоя. CX Codex +1 31 400установок firecrawl-demo-walkthrough Скилл проводит агента по ключевым потокам чужого продукта через браузер Firecrawl и собирает разбор в markdown: экраны, действия, точки трения. CX Codex +1 31 200установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой