К основному содержанию
NeFlows · шаблон n8n · Разработка

Рекурсивный сбор страниц в Google Docs и Sheets — шаблон n8n

Ссылки с сайта обрабатываются в n8n с Airtop: страницы сканируются на заданную глубину, а найденные адреса возвращаются в Google Sheets и собранный контент попадает в Google Docs.

Оригинал на n8n.io: Web site scraper for LLMs with Airtop — Airtop

Открыть шаблон на n8n.io бесплатно
Сложность
средний9 видов узлов
Просмотров на n8n.io
10 852
Опубликован
Обновлён
Автор
Airtopпроверен n8n.io
Сверено

Что делает шаблон

Google Docs хранит содержимое обработанных страниц, а Google Sheets — исходный адрес и найденные ссылки. Сбор начинается с Seed URL; в таблицу добавляются только ссылки, содержащие заданную строку. Параметр Depth задаёт число слоёв обхода после исходного набора: workflow повторяет сбор и добавление ссылок Depth - 1 раз. Значения стартового адреса, строки для отбора ссылок и глубины задаются как входные параметры. Для дополнительных правил можно отбирать ссылки по домену, пути или типу содержимого.

Как работает workflow по шагам

  1. Форма n8n запускает workflow с Seed URL, строкой для отбора ссылок и глубиной обхода.
  2. Google Sheets считывает стартовый адрес.
  3. Airtop загружает страницу и собирает её содержимое.
  4. Google Docs сохраняет собранное содержимое в заданном документе.
  5. Узел Code извлекает ссылки, а узел If пропускает адреса с нужной строкой.
  6. Google Sheets добавляет отобранные адреса; сбор повторяется по числу слоёв, заданному глубиной.

Что нужно для запуска

  • API-ключ Airtop.
  • Учётные данные Google Docs и проект в Google Console.
  • Учётные данные Google Sheets.

Как подключить Airtop к n8n

Для узла Airtop нужен API-ключ, который можно бесплатно сгенерировать в Airtop; ключ указывается в учётных данных узла.

Что изменить под себя

  • Задать Seed URL, с которого начинается сбор.
  • Указать строку, которую должны содержать ссылки для добавления в таблицу.
  • Настроить Depth — число слоёв ссылок для обхода.
  • Добавить фильтры по домену, пути или типу содержимого.

Кому подойдёт

Подходит для сбора содержимого связанных страниц в задачах агрегации контента, поиска лидов и исследований.

Сервисы 3

Категории у источника: Разработка

Узлы workflow 9

  • Google Sheets
  • If
  • Edit Fields (Set)
  • Google Docs
  • Sticky Note
  • Code
  • Execute Workflow Trigger
  • n8n Form Trigger
  • Airtop

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Web site scraper for LLMs with Airtop» опубликовал на n8n.io Airtop. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Похожие шаблоны n8n

Анализ отчётов о прибылях OpenAI и Google Drive Квартальные отчёты компаний в PDF workflow n8n связывает с OpenAI, Google Sheets и Google Drive: система ищет ответы на финансовые вопросы и собирает выводы в документ. Google Sheets · Google Drive · Google Docs · OpenAI +2 18 045просмотров Публикации из Google Sheets в LinkedIn и соцсети Идеи превращаются в публикации с текстом, изображениями, хештегами и призывами к действию: workflow в n8n связывает LinkedIn с Google Sheets и OpenAI. Google Sheets · Facebook Graph API · X (Twitter) · Gmail +4 16 658просмотров Поиск LinkedIn-профилей в Airtop и Google Sheets Данные контакта попадают из Google Sheets в n8n, где Airtop ищет и проверяет ссылку на профиль LinkedIn через Google Search. Google Sheets · Airtop 15 722просмотра Техрадар с базой MySQL и поиском Pinecone Данные техрадара из Google Sheets поступают в MySQL и векторный индекс; в n8n workflow связывает MySQL, Pinecone и чат с агентами для ответов на вопросы о технологиях. Google Sheets · Google Drive · MySQL · Google Docs +4 15 709просмотров Анализ пробелов в контенте конкурентов в Google Sheets Сайты конкурентов анализируются в workflow n8n Google Sheets, Google Docs и OpenAI, чтобы выявить связи между темами и подготовить исследовательские вопросы для контента. Google Sheets · Google Docs · OpenAI 7 182просмотра Отклик на вакансию в Google Docs Материалы для отклика на вакансию собирает workflow в n8n: Google Docs, Google Sheets и OpenAI связаны для подготовки письма, резюме и вопросов к интервью по ссылке на вакансию LinkedIn. Google Sheets · Google Docs · OpenAI 5 354просмотра

Спонсоры проекта

Компании, которые помогают держать аналитику открытой