К основному содержанию
NeFlows · шаблон n8n · RAG: ответы по своим документам

n8n: Оценка гибридного поиска в Qdrant по LegalQAEval

Вопросы из LegalQAEval проверяются по фрагментам с ответами в Qdrant: workflow n8n объединяет поиск BM25 и семантический поиск mxbai-embed-large-v1, затем оценивает выдачу.

Оригинал на n8n.io: Evaluate hybrid search for legal question-answering using Qdrant & BM25/mxbai — Jenny

Открыть шаблон на n8n.io бесплатно
Сложность
средний9 видов узлов
Просмотров на n8n.io
2 535
Опубликован
Обновлён
Автор
Jennyпроверен n8n.io
Сверено

Что делает шаблон

Оценка показывает долю вопросов из небольшой выборки, для которых первый найденный текстовый фрагмент содержит правильный ответ: это метрика hits@1 для коллекции Qdrant. По ней можно получить оценку качества простого гибридного поиска. Для эмбеддингов по умолчанию используется Qdrant Cloud Inference; вместо него допускается внешний провайдер, например OpenAI, но для этого потребуется изменить workflow по аналогии с этапом индексации. Пример использует базовый гибридный запрос; поиск можно расширить переранжированием, другими способами объединения результатов или повышением оценки на основе метаданных.

Как работает workflow по шагам

  1. Manual Trigger запускает оценку вручную.
  2. HTTP Request отправляет запрос гибридного поиска в Qdrant.
  3. Merge объединяет результаты поиска по BM25 и семантического поиска.
  4. Loop Over Items (Split in Batches) обрабатывает вопросы выборки.
  5. Filter отбирает найденные фрагменты для проверки ответов.
  6. Aggregate рассчитывает hits@1 по результатам оценки.

Что нужно для запуска

  • Завершённый конвейер индексации из Part 1 и созданная им коллекция Qdrant.
  • Требования для запуска конвейера Part 1.
  • Набор LegalQAEval с вопросами и текстовыми фрагментами, содержащими ответы.

Что изменить под себя

  • При использовании внешнего провайдера эмбеддингов изменить workflow по аналогии с Part 1.

Узлы workflow 9

  • HTTP Request
  • Merge
  • Edit Fields (Set)
  • Loop Over Items (Split in Batches)
  • Sticky Note
  • Manual Trigger
  • Filter
  • Aggregate
  • Split Out

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Evaluate hybrid search for legal question-answering using Qdrant & BM25/mxbai» опубликовал на n8n.io Jenny. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Похожие шаблоны n8n

Ответы по базе данных через OpenAI Данные из Postgres, MySQL или SQLite можно запрашивать через встроенный чат: в n8n OpenAI помогает отвечать на вопросы по содержимому базы. OpenAI 356 051просмотр Ответы по документам Google Drive в Gemini Документы компании из Google Drive индексируются в Pinecone, а workflow n8n связывает их с чатом на Google Gemini. Сотрудники задают вопросы и получают ответы по содержимому файлов. Google Drive · Pinecone · Google Gemini 352 908просмотров Ответы по документам в WhatsApp из Google Docs Документы из Google Docs превращаются в базу знаний для ответов на вопросы в WhatsApp. В n8n сообщения WhatsApp обрабатывает ИИ, который ищет контекст в MongoDB и отвечает с помощью OpenAI. Google Docs · WhatsApp · OpenAI · MongoDB 262 921просмотр Ответы по PDF из Google Drive через OpenAI В n8n Manual Chat связывает Google Drive, Pinecone и OpenAI: вопросы к белой книге Bitcoin превращаются в ответы на основе её содержимого. Google Drive · Question and Answer Chain · Binary Input Loader · OpenAI +4 146 463просмотра Ответы по PDF из Qdrant и Ollama Вопросы по PDF обрабатывает локальный чат-бот: workflow n8n связывает Ollama, Qdrant и Embeddings Ollama для поиска по документам. Ollama · Qdrant · Embeddings Ollama 141 565просмотров Ответы по PDF с цитатами из Google Drive и Pinecone PDF-документ обрабатывается в n8n, где Pinecone хранит данные для поиска, а OpenAI формирует ответы с цитатами на использованные фрагменты. Вопросы задаются во встроенном чате. Google Drive · OpenAI · Pinecone 117 261просмотр

Спонсоры проекта

Компании, которые помогают держать аналитику открытой