К основному содержанию
NeFlows · шаблон n8n · Извлечение данных из документов

n8n: Преобразование веб-страниц в Markdown и сбор ссылок

Веб-страницы преобразуются в Markdown, а ссылки с них извлекаются для анализа содержимого языковой моделью. workflow n8n обрабатывает URL через Firecrawl.dev и учитывает ограничения API.

Оригинал на n8n.io: Convert URL HTML to markdown format and get page links — simonscrapes

Открыть шаблон на n8n.io бесплатно
Сложность
средний9 видов узлов
Просмотров на n8n.io
4 898
Опубликован
Обновлён
Автор
simonscrapesпроверен n8n.io
Сверено

Что делает шаблон

Markdown и ссылки с обработанных страниц передаются в настроенную выходную базу данных. Источником служит база URL со столбцом Page или массив, заданный в полях примера; подключение выходной базы настраивается отдельно. Обработка идёт пакетами с учётом ограничений частоты запросов Firecrawl.dev. Формат выходных данных можно изменить под задачу.

Как работает workflow по шагам

  1. Manual Trigger запускает workflow.
  2. Split Out разделяет входные данные с URL на отдельные элементы.
  3. Loop Over Items обрабатывает страницы пакетами.
  4. HTTP Request отправляет запрос к Firecrawl.dev для преобразования HTML в Markdown и извлечения ссылок.
  5. Wait вводит задержку для учёта ограничений API.
  6. Edit Fields (Set) подготавливает поля выходных данных.

Что нужно для запуска

  • Учётная запись Firecrawl.dev и API-ключ.
  • База URL со столбцом Page или массив URL в полях примера.
  • Подключение к выходной базе данных.

Как подключить сервисы к n8n

API-ключ Firecrawl.dev добавляется в заголовок Authorization узла HTTP Request.

Что изменить под себя

  • Источник URL меняется на другую базу данных или массив в полях примера.
  • Параметры ограничения частоты запросов настраиваются под задачу.
  • Формат выходных данных меняется под конкретный сценарий.

Кому подойдёт

Для обработки веб-страниц перед анализом языковой моделью, извлечения ссылок и получения текста без HTML-разметки.

Узлы workflow 9

  • HTTP Request
  • No Operation, do nothing
  • Edit Fields (Set)
  • Loop Over Items (Split in Batches)
  • Wait
  • Sticky Note
  • Manual Trigger
  • Limit
  • Split Out

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Convert URL HTML to markdown format and get page links» опубликовал на n8n.io simonscrapes. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Похожие шаблоны n8n

Ответы по PDF с цитатами из Google Drive и Pinecone PDF-документ обрабатывается в n8n, где Pinecone хранит данные для поиска, а OpenAI формирует ответы с цитатами на использованные фрагменты. Вопросы задаются во встроенном чате. Google Drive · OpenAI · Pinecone 117 261просмотр Транскрибация аудио из Google Drive в Notion Аудиофайлы из Google Drive расшифровываются с помощью моделей Whisper и GPT-4 от OpenAI в n8n, после чего готовое резюме отправляется в Notion. Google Drive · Notion · OpenAI 68 510просмотров PDF-вопросы и ответы с Qdrant и Google Gemini PDF-файлы проходят OCR и становятся доступны для вопросов по содержимому. Workflow в n8n связывает Google Drive, Qdrant и Google Gemini для поиска фрагментов и генерации ответов. Google Drive · Question and Answer Chain · OpenAI · Vector Store Retriever +2 48 142просмотра Извлечение данных из PDF и изображений с Mistral OCR PDF и изображения обрабатываются через Mistral OCR: workflow в n8n связывает Google Drive с API для распознавания документов и извлечения данных. Результат включает текст в формате Markdown и таблицы. Google Drive 44 592просмотра Сводки файлов Google Drive с OpenAI Текстовые файлы Google Drive workflow в n8n передаёт OpenAI на суммаризацию и разбивает на части по токенам, чтобы обрабатывать документы с большим объёмом текста. Google Drive · OpenAI 41 569просмотров PDF и изображения в CSV через Google Drive PDF-выписки и скриншоты с транзакциями workflow n8n для Google Drive передаёт в Google Gemini, а готовые данные сохраняет в CSV в отдельной папке. Файлы можно загрузить в Google Drive. Google Drive · Google Gemini 33 366просмотров

Спонсоры проекта

Компании, которые помогают держать аналитику открытой