К основному содержанию
NeFlows · шаблон n8n · Исследование рынка

Сбор содержимого сайта в Google Drive — шаблон n8n

Страницы сайта обрабатываются workflow в n8n и сохраняются в Google Drive как файлы Markdown с текстом и техническими метаданными. Источником адресов служит XML-карта сайта.

Оригинал на n8n.io: Web scraper: extract website content from sitemaps to Google Drive — Wolf Bishop

Открыть шаблон на n8n.io бесплатно
Сложность
средний11 видов узлов
Просмотров на n8n.io
6 043
Опубликован
Обновлён
Автор
Wolf Bishop
Сверено

Что делает шаблон

В папке Google Drive появляются отдельные файлы Markdown для страниц сайта. В них собраны извлечённый из HTML текст, заголовок, число слов, размер HTML, код ответа и технические признаки сайта; файл дополнен YAML frontmatter. Настраиваются адрес XML-карты сайта и папка для сохранения. Обработка идёт последовательно с паузой 3 секунды между запросами. Узел ограничения URL отключён для полного обхода; его можно включить и задать меньшее число страниц для теста или обработки сайта частями. Качество извлечения зависит от особенностей сайта, включая использование JavaScript.

Как работает workflow по шагам

  1. Manual Trigger запускает workflow вручную.
  2. HTTP Request получает XML-карту сайта, а XML разбирает её и извлекает адреса страниц.
  3. Loop Over Items обрабатывает адреса по очереди, а HTTP Request загружает HTML каждой страницы.
  4. Code извлекает текст, заголовок и технические данные, затем формирует файл Markdown.
  5. Wait выдерживает паузу между страницами, а Google Drive сохраняет готовые файлы в выбранную папку.

Что нужно для запуска

  • Учётные данные Google Drive и идентификатор папки для сохранения файлов.
  • Адрес XML-карты сайта целевого сайта.

Как подключить Google Drive к n8n

В узле Google Drive подключается учётная запись Google Drive и указывается её идентификатор учётных данных. Для сохранения задаётся идентификатор папки из URL Google Drive; он используется в параметре folderId и cachedResultUrl.

Что изменить под себя

  • В узле Set Sitemap URL заменяется адрес карты сайта.
  • В узле Google Drive задаются идентификатор и название папки для файлов.
  • Узел Limit URLs включается для теста или обработки сайта частями, затем задаётся лимит страниц.
  • В узле Wait Between Pages меняется пауза между запросами; по умолчанию она составляет 3 секунды.

Кому подойдёт

Подходит для аудита содержимого, миграции сайтов и исследований, когда нужно извлечь HTML-данные напрямую с сайта.

Сервисы 1

Категории у источника: Исследование рынка , Мультимодальный ИИ

Узлы workflow 11

  • HTTP Request
  • Edit Fields (Set)
  • Loop Over Items (Split in Batches)
  • XML
  • Google Drive
  • Wait
  • Sticky Note
  • Code
  • Manual Trigger
  • Limit
  • Split Out

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Web scraper: extract website content from sitemaps to Google Drive» опубликовал на n8n.io Wolf Bishop. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Для ИИ-кодинга с теми же сервисами

Похожие шаблоны n8n

Видео из идей Google Sheets для соцсетей Идеи для коротких видео превращаются в ролики с озвучкой и описаниями для публикации на нескольких площадках. Готовый workflow n8n Google Sheets связывает с ИИ-сервисами, облачным хранилищем и каналом уведомлений. Google Sheets · Google Drive · Discord · OpenAI 407 984просмотра Ответы по документам Google Drive в Gemini Документы компании из Google Drive индексируются в Pinecone, а workflow n8n связывает их с чатом на Google Gemini. Сотрудники задают вопросы и получают ответы по содержимому файлов. Google Drive · Pinecone · Google Gemini 352 908просмотров Видео из Google Sheets в Google Drive и YouTube Видеозапросы из Google Sheets запускают создание роликов Google Veo3; в n8n workflow сохраняет готовый файл в Google Drive и публикует его на YouTube с заголовком от OpenAI. Google Sheets · Google Drive · OpenAI 280 839просмотров Ответы по PDF из Google Drive через OpenAI В n8n Manual Chat связывает Google Drive, Pinecone и OpenAI: вопросы к белой книге Bitcoin превращаются в ответы на основе её содержимого. Google Drive · Question and Answer Chain · Binary Input Loader · OpenAI +4 146 463просмотра Короткие видео из Google Sheets и AI-сервисов Идеи из Google Sheets превращаются в короткие видео для соцсетей: workflow n8n связывает OpenAI с генерацией изображений, озвучкой и монтажом, а о готовых роликах сообщает в Discord. Google Sheets · Google Drive · Discord · OpenAI 121 288просмотров Ответы по PDF с цитатами из Google Drive и Pinecone PDF-документ обрабатывается в n8n, где Pinecone хранит данные для поиска, а OpenAI формирует ответы с цитатами на использованные фрагменты. Вопросы задаются во встроенном чате. Google Drive · OpenAI · Pinecone 117 261просмотр

Спонсоры проекта

Компании, которые помогают держать аналитику открытой