Рекурсивный сбор страниц в Google Docs и Sheets — шаблон n8n
Ссылки с сайта обрабатываются в n8n с Airtop: страницы сканируются на заданную глубину, а найденные адреса возвращаются в Google Sheets и собранный контент попадает в Google Docs.
Оригинал на n8n.io: Web site scraper for LLMs with Airtop — Airtop
Открыть шаблон на n8n.io бесплатно- Сложность
- средний9 видов узлов
- Просмотров на n8n.io
- 10 852
- Опубликован
- Обновлён
- Автор
- Airtopпроверен n8n.io
- Сверено
Что делает шаблон
Google Docs хранит содержимое обработанных страниц, а Google Sheets — исходный адрес и найденные ссылки. Сбор начинается с Seed URL; в таблицу добавляются только ссылки, содержащие заданную строку. Параметр Depth задаёт число слоёв обхода после исходного набора: workflow повторяет сбор и добавление ссылок Depth - 1 раз. Значения стартового адреса, строки для отбора ссылок и глубины задаются как входные параметры. Для дополнительных правил можно отбирать ссылки по домену, пути или типу содержимого.
Как работает workflow по шагам
- Форма n8n запускает workflow с Seed URL, строкой для отбора ссылок и глубиной обхода.
- Google Sheets считывает стартовый адрес.
- Airtop загружает страницу и собирает её содержимое.
- Google Docs сохраняет собранное содержимое в заданном документе.
- Узел Code извлекает ссылки, а узел If пропускает адреса с нужной строкой.
- Google Sheets добавляет отобранные адреса; сбор повторяется по числу слоёв, заданному глубиной.
Что нужно для запуска
- API-ключ Airtop.
- Учётные данные Google Docs и проект в Google Console.
- Учётные данные Google Sheets.
Как подключить Airtop к n8n
Для узла Airtop нужен API-ключ, который можно бесплатно сгенерировать в Airtop; ключ указывается в учётных данных узла.
Что изменить под себя
- Задать Seed URL, с которого начинается сбор.
- Указать строку, которую должны содержать ссылки для добавления в таблицу.
- Настроить Depth — число слоёв ссылок для обхода.
- Добавить фильтры по домену, пути или типу содержимого.
Кому подойдёт
Подходит для сбора содержимого связанных страниц в задачах агрегации контента, поиска лидов и исследований.
Сервисы 3
- Google Sheets549
- Google Docs40
- Airtop
Категории у источника: Разработка
Узлы workflow 9
- Google Sheets
- If
- Edit Fields (Set)
- Google Docs
- Sticky Note
- Code
- Execute Workflow Trigger
- n8n Form Trigger
- Airtop
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Web site scraper for LLMs with Airtop» опубликовал на n8n.io Airtop. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.