Страницы сайта в Google Drive — шаблон n8n
Страницы сайта собираются с карты сайта и сохраняются отдельными документами. В workflow n8n — Google Drive получает содержимое страниц в формате Markdown.
Оригинал на n8n.io: 💡🌐 Essential multipage website scraper with Jina.ai — Joseph LePage
Открыть шаблон на n8n.io бесплатно- Сложность
- средний12 видов узлов
- Просмотров на n8n.io
- 17 324
- Опубликован
- Обновлён
- Автор
- Joseph LePageпроверен n8n.io
- Сверено
Что делает шаблон
Google Drive хранит отдельный документ для каждой обработанной страницы. В документ попадает содержимое веб-страницы в формате Markdown, а имя складывается из URL и заголовка страницы. Для сбора задаётся ссылка на карту сайта; фильтр позволяет выбрать темы или страницы, а узел ограничения регулирует размер пакета. По умолчанию он установлен на 20 страниц. Между запросами предусмотрена задержка, чтобы не перегружать серверы. Для Jina.ai API-ключ не требуется. Сбор следует вести с соблюдением местных правил и требований.
Как работает workflow по шагам
- Ручной триггер запускает workflow.
- HTTP Request получает карту сайта по заданному адресу, а узел XML извлекает ссылки на страницы.
- Узел Filter отбирает страницы по заданным темам или адресам.
- Узел Limit ограничивает количество страниц в пакете, а Split Out разделяет их для обработки.
- Цикл передаёт URL в HTTP Request для сбора содержимого через Jina.ai.
- Узлы Code и Edit Fields подготавливают содержимое и заголовок страницы.
- Wait задаёт паузу между запросами, после чего Google Drive сохраняет документ.
Что нужно для запуска
- Ссылка на карту сайта целевого сайта
- Учётная запись Google Drive
Как подключить Google Drive к n8n
Учётная запись Google Drive подключается в соответствующем узле. В workflow предусмотрено подключение аккаунта, но способ авторизации не задан.
Что изменить под себя
- В узле Set Website URL заменить адрес карты сайта на адрес целевого сайта.
- В узле Filter By Topics or Pages настроить отбор нужных тем или страниц.
- В узле Limit изменить размер пакета; значение по умолчанию — 20 страниц.
Сервисы 1
Категории у источника: Исследование рынка , Мультимодальный ИИ
Узлы workflow 12
- HTTP Request
- Edit Fields (Set)
- Loop Over Items (Split in Batches)
- XML
- Google Drive
- Wait
- Sticky Note
- Code
- Manual Trigger
- Filter
- Limit
- Split Out
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «💡🌐 Essential multipage website scraper with Jina.ai» опубликовал на n8n.io Joseph LePage. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.