Сбор ссылок и контента сайта в Google Sheets — шаблон n8n
Сайт обходится в n8n, а Google Sheets получает ссылки, изображения и Markdown-текст страниц для анализа или передачи в базу знаний.
Оригинал на n8n.io: Web crawler: Convert websites to AI-ready markdown in Google Sheets — Daniel Nkencho
Открыть шаблон на n8n.io бесплатно- Сложность
- средний12 видов узлов
- Просмотров на n8n.io
- 2 429
- Опубликован
- Обновлён
- Автор
- Daniel Nkenchoпроверен n8n.io
- Сверено
Что делает шаблон
Google Sheets хранит данные сайта в одной строке: ссылки, изображения и собранное содержимое страниц в Markdown. Текст можно анализировать, экспортировать или передавать в векторную базу. Для сбора задаётся адрес сайта, а в таблице нужны столбцы «Website», «Links», «Scraped Content» и «Images». Размер одной ячейки Google Sheets ограничен примерно 50 тысячами символов; текст можно обрезать через настройку .slice(0, 50000) или распределить по нескольким строкам. Быстрый сбор запросами может вызвать ограничение со стороны сайта.
Как работает workflow по шагам
- Manual Trigger запускает workflow вручную.
- HTTP Request получает главную страницу сайта.
- HTML извлекает внутренние ссылки, а Remove Duplicates удаляет повторы.
- Filter отбрасывает ссылки, которые не используют HTTP.
- Switch отделяет изображения от страниц с текстом.
- HTTP Request загружает страницы, Markdown преобразует содержимое, а Aggregate собирает данные перед записью в Google Sheets.
Что нужно для запуска
- Учётная запись Google с доступом к Google Sheets.
- Экземпляр n8n: облачный или self-hosted.
- Учётные данные Google Sheets OAuth2 с правом редактирования таблицы.
- Целевая таблица с колонками «Website», «Links», «Scraped Content» и «Images».
Как подключить Google Sheets к n8n
Для подключения Google Sheets нужны учётные данные OAuth2. В Google Cloud Console создаётся OAuth client ID типа Web application, указывается адрес перенаправления n8n и разрешается доступ к Google Sheets. Затем учётные данные добавляются в n8n и назначаются узлам записи; в них также задаются идентификатор таблицы и имя или идентификатор листа.
Что изменить под себя
- В узле Set Website меняется значение website_url на адрес целевого сайта.
- В трёх узлах записи указываются идентификатор таблицы и имя или идентификатор листа.
- В таблице задаются столбцы «Website», «Links», «Scraped Content» и «Images».
- Для ограничения длины текста меняется значение в .slice(0, 50000); содержимое также можно разделить на несколько строк.
- Если сайт ограничивает частые запросы, после Scrape Links добавляется узел Wait с задержкой 1–2 секунды.
Кому подойдёт
Для сбора материалов с сайтов компаний, подготовки баз знаний и досье конкурентов, а также архивации содержимого для исследований и аудитов. Markdown-текст можно использовать для обучения AI agents на отраслевых данных.
Сервисы 1
Категории у источника: Извлечение данных из документов , RAG: ответы по своим документам
Узлы workflow 12
- Google Sheets
- HTTP Request
- Edit Fields (Set)
- Switch
- Markdown
- Sticky Note
- Manual Trigger
- HTML
- Filter
- Aggregate
- Remove Duplicates
- Split Out
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Web crawler: Convert websites to AI-ready markdown in Google Sheets» опубликовал на n8n.io Daniel Nkencho. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.