n8n: Оценка гибридного поиска в Qdrant по LegalQAEval
Вопросы из LegalQAEval проверяются по фрагментам с ответами в Qdrant: workflow n8n объединяет поиск BM25 и семантический поиск mxbai-embed-large-v1, затем оценивает выдачу.
Оригинал на n8n.io: Evaluate hybrid search for legal question-answering using Qdrant & BM25/mxbai — Jenny
Открыть шаблон на n8n.io бесплатно- Сложность
- средний9 видов узлов
- Просмотров на n8n.io
- 2 535
- Опубликован
- Обновлён
- Автор
- Jennyпроверен n8n.io
- Сверено
Что делает шаблон
Оценка показывает долю вопросов из небольшой выборки, для которых первый найденный текстовый фрагмент содержит правильный ответ: это метрика hits@1 для коллекции Qdrant. По ней можно получить оценку качества простого гибридного поиска. Для эмбеддингов по умолчанию используется Qdrant Cloud Inference; вместо него допускается внешний провайдер, например OpenAI, но для этого потребуется изменить workflow по аналогии с этапом индексации. Пример использует базовый гибридный запрос; поиск можно расширить переранжированием, другими способами объединения результатов или повышением оценки на основе метаданных.
Как работает workflow по шагам
- Manual Trigger запускает оценку вручную.
- HTTP Request отправляет запрос гибридного поиска в Qdrant.
- Merge объединяет результаты поиска по BM25 и семантического поиска.
- Loop Over Items (Split in Batches) обрабатывает вопросы выборки.
- Filter отбирает найденные фрагменты для проверки ответов.
- Aggregate рассчитывает hits@1 по результатам оценки.
Что нужно для запуска
- Завершённый конвейер индексации из Part 1 и созданная им коллекция Qdrant.
- Требования для запуска конвейера Part 1.
- Набор LegalQAEval с вопросами и текстовыми фрагментами, содержащими ответы.
Что изменить под себя
- При использовании внешнего провайдера эмбеддингов изменить workflow по аналогии с Part 1.
Узлы workflow 9
- HTTP Request
- Merge
- Edit Fields (Set)
- Loop Over Items (Split in Batches)
- Sticky Note
- Manual Trigger
- Filter
- Aggregate
- Split Out
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Evaluate hybrid search for legal question-answering using Qdrant & BM25/mxbai» опубликовал на n8n.io Jenny. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.