Сбор содержимого сайта в Google Drive — шаблон n8n
Страницы сайта обрабатываются workflow в n8n и сохраняются в Google Drive как файлы Markdown с текстом и техническими метаданными. Источником адресов служит XML-карта сайта.
Оригинал на n8n.io: Web scraper: extract website content from sitemaps to Google Drive — Wolf Bishop
Открыть шаблон на n8n.io бесплатно- Сложность
- средний11 видов узлов
- Просмотров на n8n.io
- 6 043
- Опубликован
- Обновлён
- Автор
- Wolf Bishop
- Сверено
Что делает шаблон
В папке Google Drive появляются отдельные файлы Markdown для страниц сайта. В них собраны извлечённый из HTML текст, заголовок, число слов, размер HTML, код ответа и технические признаки сайта; файл дополнен YAML frontmatter. Настраиваются адрес XML-карты сайта и папка для сохранения. Обработка идёт последовательно с паузой 3 секунды между запросами. Узел ограничения URL отключён для полного обхода; его можно включить и задать меньшее число страниц для теста или обработки сайта частями. Качество извлечения зависит от особенностей сайта, включая использование JavaScript.
Как работает workflow по шагам
- Manual Trigger запускает workflow вручную.
- HTTP Request получает XML-карту сайта, а XML разбирает её и извлекает адреса страниц.
- Loop Over Items обрабатывает адреса по очереди, а HTTP Request загружает HTML каждой страницы.
- Code извлекает текст, заголовок и технические данные, затем формирует файл Markdown.
- Wait выдерживает паузу между страницами, а Google Drive сохраняет готовые файлы в выбранную папку.
Что нужно для запуска
- Учётные данные Google Drive и идентификатор папки для сохранения файлов.
- Адрес XML-карты сайта целевого сайта.
Как подключить Google Drive к n8n
В узле Google Drive подключается учётная запись Google Drive и указывается её идентификатор учётных данных. Для сохранения задаётся идентификатор папки из URL Google Drive; он используется в параметре folderId и cachedResultUrl.
Что изменить под себя
- В узле Set Sitemap URL заменяется адрес карты сайта.
- В узле Google Drive задаются идентификатор и название папки для файлов.
- Узел Limit URLs включается для теста или обработки сайта частями, затем задаётся лимит страниц.
- В узле Wait Between Pages меняется пауза между запросами; по умолчанию она составляет 3 секунды.
Кому подойдёт
Подходит для аудита содержимого, миграции сайтов и исследований, когда нужно извлечь HTML-данные напрямую с сайта.
Сервисы 1
Категории у источника: Исследование рынка , Мультимодальный ИИ
Узлы workflow 11
- HTTP Request
- Edit Fields (Set)
- Loop Over Items (Split in Batches)
- XML
- Google Drive
- Wait
- Sticky Note
- Code
- Manual Trigger
- Limit
- Split Out
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Web scraper: extract website content from sitemaps to Google Drive» опубликовал на n8n.io Wolf Bishop. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.