К основному содержанию
NeFlows · шаблон n8n · Извлечение данных из документов

Сбор ссылок и контента сайта в Google Sheets — шаблон n8n

Сайт обходится в n8n, а Google Sheets получает ссылки, изображения и Markdown-текст страниц для анализа или передачи в базу знаний.

Оригинал на n8n.io: Web crawler: Convert websites to AI-ready markdown in Google Sheets — Daniel Nkencho

Открыть шаблон на n8n.io бесплатно
Сложность
средний12 видов узлов
Просмотров на n8n.io
2 429
Опубликован
Обновлён
Автор
Daniel Nkenchoпроверен n8n.io
Сверено

Что делает шаблон

Google Sheets хранит данные сайта в одной строке: ссылки, изображения и собранное содержимое страниц в Markdown. Текст можно анализировать, экспортировать или передавать в векторную базу. Для сбора задаётся адрес сайта, а в таблице нужны столбцы «Website», «Links», «Scraped Content» и «Images». Размер одной ячейки Google Sheets ограничен примерно 50 тысячами символов; текст можно обрезать через настройку .slice(0, 50000) или распределить по нескольким строкам. Быстрый сбор запросами может вызвать ограничение со стороны сайта.

Как работает workflow по шагам

  1. Manual Trigger запускает workflow вручную.
  2. HTTP Request получает главную страницу сайта.
  3. HTML извлекает внутренние ссылки, а Remove Duplicates удаляет повторы.
  4. Filter отбрасывает ссылки, которые не используют HTTP.
  5. Switch отделяет изображения от страниц с текстом.
  6. HTTP Request загружает страницы, Markdown преобразует содержимое, а Aggregate собирает данные перед записью в Google Sheets.

Что нужно для запуска

  • Учётная запись Google с доступом к Google Sheets.
  • Экземпляр n8n: облачный или self-hosted.
  • Учётные данные Google Sheets OAuth2 с правом редактирования таблицы.
  • Целевая таблица с колонками «Website», «Links», «Scraped Content» и «Images».

Как подключить Google Sheets к n8n

Для подключения Google Sheets нужны учётные данные OAuth2. В Google Cloud Console создаётся OAuth client ID типа Web application, указывается адрес перенаправления n8n и разрешается доступ к Google Sheets. Затем учётные данные добавляются в n8n и назначаются узлам записи; в них также задаются идентификатор таблицы и имя или идентификатор листа.

Что изменить под себя

  • В узле Set Website меняется значение website_url на адрес целевого сайта.
  • В трёх узлах записи указываются идентификатор таблицы и имя или идентификатор листа.
  • В таблице задаются столбцы «Website», «Links», «Scraped Content» и «Images».
  • Для ограничения длины текста меняется значение в .slice(0, 50000); содержимое также можно разделить на несколько строк.
  • Если сайт ограничивает частые запросы, после Scrape Links добавляется узел Wait с задержкой 1–2 секунды.

Кому подойдёт

Для сбора материалов с сайтов компаний, подготовки баз знаний и досье конкурентов, а также архивации содержимого для исследований и аудитов. Markdown-текст можно использовать для обучения AI agents на отраслевых данных.

Сервисы 1

Категории у источника: Извлечение данных из документов , RAG: ответы по своим документам

Узлы workflow 12

  • Google Sheets
  • HTTP Request
  • Edit Fields (Set)
  • Switch
  • Markdown
  • Sticky Note
  • Manual Trigger
  • HTML
  • Filter
  • Aggregate
  • Remove Duplicates
  • Split Out

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Web crawler: Convert websites to AI-ready markdown in Google Sheets» опубликовал на n8n.io Daniel Nkencho. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Похожие шаблоны n8n

Видео из идей Google Sheets для соцсетей Идеи для коротких видео превращаются в ролики с озвучкой и описаниями для публикации на нескольких площадках. Готовый workflow n8n Google Sheets связывает с ИИ-сервисами, облачным хранилищем и каналом уведомлений. Google Sheets · Google Drive · Discord · OpenAI 407 984просмотра AI-видео из OpenAI в Google Sheets и соцсети Идеи для коротких роликов превращаются в готовые видео: в n8n OpenAI помогает подготовить замысел и подсказки для генерации, а публикация проходит через Blotato. Google Sheets · OpenAI 352 892просмотра Публикация видео из Google Sheets в TikTok Идеи для коротких видео обрабатываются в workflow n8n Google Sheets: OpenAI готовит материалы, а Blotato публикует ролики в TikTok. Google Sheets хранит идеи и статус публикации. Google Sheets · OpenAI 313 296просмотров Генерация видео OpenAI и публикация через Blotato Идея для короткого видео превращается в ролик и автоматически публикуется в социальных сетях. В n8n OpenAI формирует идею и запрос для Veo3, а Blotato размещает готовое видео на выбранных платформах. Google Sheets · OpenAI 292 208просмотров Видео из Google Sheets в Google Drive и YouTube Видеозапросы из Google Sheets запускают создание роликов Google Veo3; в n8n workflow сохраняет готовый файл в Google Drive и публикует его на YouTube с заголовком от OpenAI. Google Sheets · Google Drive · OpenAI 280 839просмотров Публикация ASMR-видео в YouTube из Google Sheets Идеи для ASMR-видео workflow в n8n превращаются в короткие ролики и публикуются на YouTube; Google Sheets хранит статусы и ссылки, а Telegram и Gmail получают уведомления. Google Sheets · Telegram · Gmail · YouTube +1 239 855просмотров

Спонсоры проекта

Компании, которые помогают держать аналитику открытой