К основному содержанию
NeFlows · шаблон n8n · Исследование рынка

Сбор данных с сайтов через Scrappey — шаблон n8n

Данные с сайтов workflow n8n отправляет в Scrappey для сбора, а результат возвращается в workflow. Тестовые данные можно заменить производственными.

Оригинал на n8n.io: Scrape every URL on the web without getting blocked by Anti-Bot technologies with Scrappey — Bela

Открыть шаблон на n8n.io бесплатно
Сложность
простой4 вида узлов
Просмотров на n8n.io
28 199
Опубликован
Обновлён
Автор
Belaпроверен n8n.io
Сверено

Что делает шаблон

Сведения с сайта возвращаются как результат вызова Scrappey. Сейчас для запроса используются тестовые данные; вместо них можно подключить производственный источник любого типа. Для работы требуется API-ключ Scrappey. Сервис предназначен для сбора данных с сайтов с обходом антибот-технологий.

Как работает workflow по шагам

  1. Schedule Trigger запускает workflow по расписанию.
  2. Edit Fields (Set) подготавливает тестовые данные для запроса.
  3. HTTP Request отправляет API-запрос в Scrappey.
  4. HTTP Request получает собранные данные сайта в ответе.

Что нужно для запуска

  • Учётная запись Scrappey и API-ключ Scrappey

Как подключить сервисы к n8n

API-ключ Scrappey указывается в узле HTTP Request вместо YOUR_API_KEY.

Что изменить под себя

  • Тестовые данные заменяются производственными; к workflow можно подключить источник данных любого типа.

Узлы workflow 4

  • HTTP Request
  • Edit Fields (Set)
  • Sticky Note
  • Schedule Trigger

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Scrape every URL on the web without getting blocked by Anti-Bot technologies with Scrappey» опубликовал на n8n.io Bela. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Похожие шаблоны n8n

Краткие пересказы веб-страниц с OpenAI Веб-страницы обрабатываются в workflow n8n с OpenAI: ссылки ведут к текстам эссе, для которых формируются краткие пересказы. Сценарий объединяет веб-скрейпинг и обработку текста. OpenAI 392 194просмотра n8n Google Sheets: данные сайта в CSV и Excel Данные с сайта workflow n8n собирает в CSV, отправляет по электронной почте и сохраняет в Google Sheets и Microsoft Excel 365. Это готовый workflow для выгрузки информации из веб-страниц. Google Sheets · Microsoft Excel 365 · Gmail 130 191просмотр Сводка и анализ видео YouTube в Telegram Ссылка на публичное видео YouTube запускает workflow в n8n: система извлекает расшифровку и готовит структурированный разбор. Итог можно отправить в Telegram. Telegram · YouTube · OpenAI 116 127просмотров Исследовательский отчёт в Notion на основе OpenAI Исследовательский запрос превращается в отчёт в Notion: workflow в n8n связывает OpenAI с поиском и сбором материалов из интернета. Глубину исследования задают в форме. Notion · Execution Data · OpenAI · Google Gemini 79 990просмотров Поиск трендов YouTube с анализом OpenAI Темы для YouTube ищет workflow в n8n: он связывает YouTube и OpenAI, чтобы находить растущие сюжеты в выбранной нише и собирать данные о вовлечённости зрителей. YouTube · OpenAI 74 576просмотров Инсайты по Hacker News в Google Sheets и Qdrant Комментарии Hacker News группируются по сходству: workflow в n8n связывает Hacker News, Qdrant и Google Sheets, а OpenAI помогает сформулировать выводы по каждой группе. Google Sheets · Hacker News · OpenAI · Qdrant 71 220просмотров

Спонсоры проекта

Компании, которые помогают держать аналитику открытой