Оценка документов в Google Sheets и OpenAI — шаблон n8n
Оценка релевантности документов для ответов на вопросы связывает Google Sheets и OpenAI: в n8n workflow сравнивает найденные документы с вопросом и передаёт метрику оценки.
Оригинал на n8n.io: Evaluation metric example: RAG document relevance — David Roberts
Открыть шаблон на n8n.io бесплатно- Сложность
- сложный16 видов узлов
- Просмотров на n8n.io
- 4 389
- Опубликован
- Обновлён
- Автор
- David Robertsпроверен n8n.io
- Сверено
Что делает шаблон
Метрика в n8n показывает, насколько документы из векторного хранилища соответствуют вопросу, на который отвечает агент. Для проверки нужны документы, заранее добавленные в хранилище: верхнюю часть workflow запускают один раз, чтобы агент мог их находить. При оценке система рассчитывает балл для каждого входного вопроса и передаёт его в n8n. Если workflow запущен обычным триггером, расчёт метрики пропускается, чтобы сократить расходы.
Как работает workflow по шагам
- Manual Trigger запускает верхнюю часть workflow для добавления документов в векторное хранилище.
- Evaluation Trigger загружает тестовый набор вопросов; Chat Trigger запускает обычный путь отдельно.
- AI Agent формирует ответ и выдаёт список данных, полученных от инструментов.
- OpenAI сравнивает найденные документы с вопросом и рассчитывает релевантность при запуске оценки.
- Evaluation передаёт метрику в n8n, а при обычном запуске расчёт пропускается.
Что нужно для запуска
- Документы для добавления в векторное хранилище и тестовый набор вопросов.
- Доступы к Google Sheets и OpenAI.
Сервисы 2
Категории у источника: Разработка , ИИ-пересказ
Узлы workflow 16
- Google Sheets
- No Operation, do nothing
- Edit Fields (Set)
- Sticky Note
- Manual Trigger
- AI Agent
- Embeddings OpenAI
- OpenAI Chat Model
- Recursive Character Text Splitter
- In Memory Vector Store
- Remove Duplicates
- Default Data Loader
- Chat Trigger
- OpenAI
- Evaluation Trigger
- Evaluation
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Evaluation metric example: RAG document relevance» опубликовал на n8n.io David Roberts. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.