Оценка релевантности ответов AI Agent в OpenAI — шаблон n8n
Ответы AI Agent оцениваются по тому, насколько они соответствуют вопросам пользователя: в n8n OpenAI участвует в генерации ответа и вопроса для сравнения с исходным.
Оригинал на n8n.io: Evaluate AI agent response relevance using OpenAI and cosine similarity — Jimleuk
Открыть шаблон на n8n.io бесплатно- Сложность
- средний12 видов узлов
- Просмотров на n8n.io
- 1 306
- Опубликован
- Обновлён
- Автор
- Jimleukпроверен n8n.io
- Сверено
Что делает шаблон
Оценка показывает, насколько ответ AI Agent относится к вопросу пользователя. Другая ИИ-модель формирует вопрос на основе ответа, после чего его сравнивают с исходным вопросом по косинусному сходству. Высокая оценка указывает на релевантный ответ, низкая — на лишнюю информацию, уход от темы или галлюцинации. Подход адаптирован из проекта RAGAS с открытым исходным кодом. Оценивание лучше работает с агентами вопросов и ответов; для шаблона нужна версия n8n 1.94 или выше.
Как работает workflow по шагам
- Chat Trigger запускает взаимодействие с агентом вопросом пользователя.
- AI Agent формирует ответ на вопрос.
- Evaluation Trigger запускает оценивание ответа.
- Basic LLM Chain просит модель OpenAI составить вопрос по ответу, а Structured Output Parser оформляет результат.
- Code сравнивает сгенерированный вопрос с исходным по косинусному сходству.
- Evaluation рассчитывает метрику релевантности. Порядок узлов оценки может отличаться от порядка запуска чата.
Что нужно для запуска
- Версия n8n 1.94 или выше.
- Доступ к OpenAI.
- Тестовые данные из Google Sheets.
Сервисы 1
Категории у источника: Разработка , ИИ-пересказ
Узлы workflow 12
- HTTP Request
- No Operation, do nothing
- Edit Fields (Set)
- Sticky Note
- Code
- AI Agent
- Basic LLM Chain
- OpenAI Chat Model
- Structured Output Parser
- Chat Trigger
- Evaluation Trigger
- Evaluation
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Evaluate AI agent response relevance using OpenAI and cosine similarity» опубликовал на n8n.io Jimleuk. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.