Оценка точности ответов AI Agent в OpenAI — шаблон n8n
Ответы AI Agent оцениваются по соответствию эталонным данным и сходству с ними. В workflow n8n OpenAI помогает классифицировать совпадения и получить итоговую оценку.
Оригинал на n8n.io: Evaluate AI agent response correctness with OpenAI and RAGAS methodology — Jimleuk
Открыть шаблон на n8n.io бесплатно- Сложность
- сложный15 видов узлов
- Просмотров на n8n.io
- 1 656
- Опубликован
- Обновлён
- Автор
- Jimleukпроверен n8n.io
- Сверено
Что делает шаблон
Итоговая оценка показывает, насколько ответ агента точен и полон относительно набора эталонных данных. Сходство ответа рассчитывается со всеми эталонами, а классификация учитывает три случая: факт есть и в ответе, и в эталоне; есть только в ответе; есть только в эталоне. Эти показатели усредняются. Метод лучше подходит для ответов в разговорном стиле, которые могут быть подробными. Низкая оценка может указывать на неверные данные для обучения агента или недостаточно полный ответ. Для работы требуется n8n версии 1.94+.
Как работает workflow по шагам
- Chat Trigger запускает AI Agent, который формирует ответ.
- Evaluation Trigger запускает проверку ответа относительно эталонных данных.
- Basic LLM Chain с OpenAI Chat Model классифицирует совпадения ответа с эталонами.
- Code рассчитывает сходство с эталонами и итоговую оценку.
- Evaluation передаёт результат оценки для проверки workflow.
Что нужно для запуска
- n8n версии 1.94+
- Доступ к OpenAI
- Ответ AI Agent и набор эталонных данных
Сервисы 1
Категории у источника: Разработка , ИИ-пересказ
Узлы workflow 15
- HTTP Request
- Merge
- No Operation, do nothing
- Edit Fields (Set)
- Sticky Note
- Code
- AI Agent
- Basic LLM Chain
- OpenAI Chat Model
- Structured Output Parser
- Aggregate
- Split Out
- Chat Trigger
- Evaluation Trigger
- Evaluation
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Evaluate AI agent response correctness with OpenAI and RAGAS methodology» опубликовал на n8n.io Jimleuk. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.