К основному содержанию
NeFlows · шаблон n8n · Разработка

Оценка точности ответов AI Agent в OpenAI — шаблон n8n

Ответы AI Agent оцениваются по соответствию эталонным данным и сходству с ними. В workflow n8n OpenAI помогает классифицировать совпадения и получить итоговую оценку.

Оригинал на n8n.io: Evaluate AI agent response correctness with OpenAI and RAGAS methodology — Jimleuk

Открыть шаблон на n8n.io бесплатно
Сложность
сложный15 видов узлов
Просмотров на n8n.io
1 656
Опубликован
Обновлён
Автор
Jimleukпроверен n8n.io
Сверено

Что делает шаблон

Итоговая оценка показывает, насколько ответ агента точен и полон относительно набора эталонных данных. Сходство ответа рассчитывается со всеми эталонами, а классификация учитывает три случая: факт есть и в ответе, и в эталоне; есть только в ответе; есть только в эталоне. Эти показатели усредняются. Метод лучше подходит для ответов в разговорном стиле, которые могут быть подробными. Низкая оценка может указывать на неверные данные для обучения агента или недостаточно полный ответ. Для работы требуется n8n версии 1.94+.

Как работает workflow по шагам

  1. Chat Trigger запускает AI Agent, который формирует ответ.
  2. Evaluation Trigger запускает проверку ответа относительно эталонных данных.
  3. Basic LLM Chain с OpenAI Chat Model классифицирует совпадения ответа с эталонами.
  4. Code рассчитывает сходство с эталонами и итоговую оценку.
  5. Evaluation передаёт результат оценки для проверки workflow.

Что нужно для запуска

  • n8n версии 1.94+
  • Доступ к OpenAI
  • Ответ AI Agent и набор эталонных данных

Сервисы 1

Категории у источника: Разработка , ИИ-пересказ

Узлы workflow 15

  • HTTP Request
  • Merge
  • No Operation, do nothing
  • Edit Fields (Set)
  • Sticky Note
  • Code
  • AI Agent
  • Basic LLM Chain
  • OpenAI Chat Model
  • Structured Output Parser
  • Aggregate
  • Split Out
  • Chat Trigger
  • Evaluation Trigger
  • Evaluation

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Evaluate AI agent response correctness with OpenAI and RAGAS methodology» опубликовал на n8n.io Jimleuk. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Похожие шаблоны n8n

WhatsApp-чат-бот для ответов о товарах с каталогом и OpenAI Каталог товаров превращается в базу знаний для чат-бота, который отвечает на вопросы клиентов в WhatsApp. Сценарий связывает WhatsApp Business Cloud с OpenAI. WhatsApp · OpenAI 544 252просмотра AI-публикации из OpenAI в LinkedIn и соцсети Публикации для LinkedIn и других соцсетей создаются с помощью ИИ: workflow в n8n связывает LinkedIn, OpenAI и Telegram, а затем отправляет материалы на согласование. Telegram · Facebook Graph API · X (Twitter) · Gmail +4 445 412просмотров AI-ассистент Angie в Telegram с OpenAI Текстовые и голосовые запросы к личному AI-ассистенту Angie обрабатываются в n8n и OpenAI, а ответы приходят в Telegram. Workflow также позволяет узнавать о письмах, событиях календаря, задачах и контактах. Telegram · OpenAI 438 352просмотра Видео из идей Google Sheets для соцсетей Идеи для коротких видео превращаются в ролики с озвучкой и описаниями для публикации на нескольких площадках. Готовый workflow n8n Google Sheets связывает с ИИ-сервисами, облачным хранилищем и каналом уведомлений. Google Sheets · Google Drive · Discord · OpenAI 407 984просмотра Краткие пересказы веб-страниц с OpenAI Веб-страницы обрабатываются в workflow n8n с OpenAI: ссылки ведут к текстам эссе, для которых формируются краткие пересказы. Сценарий объединяет веб-скрейпинг и обработку текста. OpenAI 392 194просмотра Ответы по базе данных через OpenAI Данные из Postgres, MySQL или SQLite можно запрашивать через встроенный чат: в n8n OpenAI помогает отвечать на вопросы по содержимому базы. OpenAI 356 051просмотр

Спонсоры проекта

Компании, которые помогают держать аналитику открытой