К основному содержанию
NeFlows · шаблон n8n · Разработка

Оценка релевантности ответов AI Agent в OpenAI — шаблон n8n

Ответы AI Agent оцениваются по тому, насколько они соответствуют вопросам пользователя: в n8n OpenAI участвует в генерации ответа и вопроса для сравнения с исходным.

Оригинал на n8n.io: Evaluate AI agent response relevance using OpenAI and cosine similarity — Jimleuk

Открыть шаблон на n8n.io бесплатно
Сложность
средний12 видов узлов
Просмотров на n8n.io
1 306
Опубликован
Обновлён
Автор
Jimleukпроверен n8n.io
Сверено

Что делает шаблон

Оценка показывает, насколько ответ AI Agent относится к вопросу пользователя. Другая ИИ-модель формирует вопрос на основе ответа, после чего его сравнивают с исходным вопросом по косинусному сходству. Высокая оценка указывает на релевантный ответ, низкая — на лишнюю информацию, уход от темы или галлюцинации. Подход адаптирован из проекта RAGAS с открытым исходным кодом. Оценивание лучше работает с агентами вопросов и ответов; для шаблона нужна версия n8n 1.94 или выше.

Как работает workflow по шагам

  1. Chat Trigger запускает взаимодействие с агентом вопросом пользователя.
  2. AI Agent формирует ответ на вопрос.
  3. Evaluation Trigger запускает оценивание ответа.
  4. Basic LLM Chain просит модель OpenAI составить вопрос по ответу, а Structured Output Parser оформляет результат.
  5. Code сравнивает сгенерированный вопрос с исходным по косинусному сходству.
  6. Evaluation рассчитывает метрику релевантности. Порядок узлов оценки может отличаться от порядка запуска чата.

Что нужно для запуска

  • Версия n8n 1.94 или выше.
  • Доступ к OpenAI.
  • Тестовые данные из Google Sheets.

Сервисы 1

Категории у источника: Разработка , ИИ-пересказ

Узлы workflow 12

  • HTTP Request
  • No Operation, do nothing
  • Edit Fields (Set)
  • Sticky Note
  • Code
  • AI Agent
  • Basic LLM Chain
  • OpenAI Chat Model
  • Structured Output Parser
  • Chat Trigger
  • Evaluation Trigger
  • Evaluation

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Evaluate AI agent response relevance using OpenAI and cosine similarity» опубликовал на n8n.io Jimleuk. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Похожие шаблоны n8n

WhatsApp-чат-бот для ответов о товарах с каталогом и OpenAI Каталог товаров превращается в базу знаний для чат-бота, который отвечает на вопросы клиентов в WhatsApp. Сценарий связывает WhatsApp Business Cloud с OpenAI. WhatsApp · OpenAI 544 252просмотра AI-публикации из OpenAI в LinkedIn и соцсети Публикации для LinkedIn и других соцсетей создаются с помощью ИИ: workflow в n8n связывает LinkedIn, OpenAI и Telegram, а затем отправляет материалы на согласование. Telegram · Facebook Graph API · X (Twitter) · Gmail +4 445 412просмотров AI-ассистент Angie в Telegram с OpenAI Текстовые и голосовые запросы к личному AI-ассистенту Angie обрабатываются в n8n и OpenAI, а ответы приходят в Telegram. Workflow также позволяет узнавать о письмах, событиях календаря, задачах и контактах. Telegram · OpenAI 438 352просмотра Видео из идей Google Sheets для соцсетей Идеи для коротких видео превращаются в ролики с озвучкой и описаниями для публикации на нескольких площадках. Готовый workflow n8n Google Sheets связывает с ИИ-сервисами, облачным хранилищем и каналом уведомлений. Google Sheets · Google Drive · Discord · OpenAI 407 984просмотра Краткие пересказы веб-страниц с OpenAI Веб-страницы обрабатываются в workflow n8n с OpenAI: ссылки ведут к текстам эссе, для которых формируются краткие пересказы. Сценарий объединяет веб-скрейпинг и обработку текста. OpenAI 392 194просмотра Ответы по базе данных через OpenAI Данные из Postgres, MySQL или SQLite можно запрашивать через встроенный чат: в n8n OpenAI помогает отвечать на вопросы по содержимому базы. OpenAI 356 051просмотр

Спонсоры проекта

Компании, которые помогают держать аналитику открытой