n8n: Преобразование веб-страниц в Markdown и сбор ссылок
Веб-страницы преобразуются в Markdown, а ссылки с них извлекаются для анализа содержимого языковой моделью. workflow n8n обрабатывает URL через Firecrawl.dev и учитывает ограничения API.
Оригинал на n8n.io: Convert URL HTML to markdown format and get page links — simonscrapes
Открыть шаблон на n8n.io бесплатно- Сложность
- средний9 видов узлов
- Просмотров на n8n.io
- 4 898
- Опубликован
- Обновлён
- Автор
- simonscrapesпроверен n8n.io
- Сверено
Что делает шаблон
Markdown и ссылки с обработанных страниц передаются в настроенную выходную базу данных. Источником служит база URL со столбцом Page или массив, заданный в полях примера; подключение выходной базы настраивается отдельно. Обработка идёт пакетами с учётом ограничений частоты запросов Firecrawl.dev. Формат выходных данных можно изменить под задачу.
Как работает workflow по шагам
- Manual Trigger запускает workflow.
- Split Out разделяет входные данные с URL на отдельные элементы.
- Loop Over Items обрабатывает страницы пакетами.
- HTTP Request отправляет запрос к Firecrawl.dev для преобразования HTML в Markdown и извлечения ссылок.
- Wait вводит задержку для учёта ограничений API.
- Edit Fields (Set) подготавливает поля выходных данных.
Что нужно для запуска
- Учётная запись Firecrawl.dev и API-ключ.
- База URL со столбцом Page или массив URL в полях примера.
- Подключение к выходной базе данных.
Как подключить сервисы к n8n
API-ключ Firecrawl.dev добавляется в заголовок Authorization узла HTTP Request.
Что изменить под себя
- Источник URL меняется на другую базу данных или массив в полях примера.
- Параметры ограничения частоты запросов настраиваются под задачу.
- Формат выходных данных меняется под конкретный сценарий.
Кому подойдёт
Для обработки веб-страниц перед анализом языковой моделью, извлечения ссылок и получения текста без HTML-разметки.
Узлы workflow 9
- HTTP Request
- No Operation, do nothing
- Edit Fields (Set)
- Loop Over Items (Split in Batches)
- Wait
- Sticky Note
- Manual Trigger
- Limit
- Split Out
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Convert URL HTML to markdown format and get page links» опубликовал на n8n.io simonscrapes. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.