n8n: Сравнение ответов OpenAI, Anthropic и Google Gemini
Ответы OpenAI, Anthropic и Google Gemini проходят автоматическую оценку качества в workflow n8n; Chat Trigger принимает запрос, а результаты возвращаются в чат.
Оригинал на n8n.io: Compare GPT-4, Claude & Gemini Responses with Contextual AI's LMUnit Evaluation — Jinash Rouniyar
Открыть шаблон на n8n.io бесплатно- Сложность
- средний11 видов узлов
- Просмотров на n8n.io
- 9 635
- Опубликован
- Обновлён
- Автор
- Jinash Rouniyarпроверен n8n.io
- Сверено
Что делает шаблон
Чат получает сводку с оценками по ясности и краткости ответов, результатами для каждой модели и общими средними значениями. Для сравнения модели получают один и тот же запрос. Contextual AI LMUnit оценивает ответы по шкале от 1 до 5, используя заданные критерии. В конфигурации тестов можно добавить проверку точности фактов, тона или полноты; также меняются пороги, логика агрегации и формат сводки для панелей, таблиц или JSON-экспорта.
Как работает workflow по шагам
- Chat Trigger запускает workflow и принимает запрос через чат.
- OpenAI, Anthropic и Google Gemini получают одинаковый запрос и формируют ответы.
- Merge объединяет ответы моделей и связывает их с соответствующими тестами.
- Contextual AI LMUnit оценивает ясность и краткость каждого ответа по шкале от 1 до 5.
- Code агрегирует оценки и формирует сводку с показателями моделей и общими средними.
- Respond To Chat возвращает сводку в чат.
Что нужно для запуска
- Учётная запись Contextual AI и ключ CONTEXTUALAI_API_KEY.
- API-ключ OpenAI.
- API-ключ Anthropic.
- API-ключ Gemini.
Как подключить OpenAI к n8n
Ключ CONTEXTUALAI_API_KEY получают в бесплатной учётной записи Contextual AI и добавляют в n8n как учётные данные Contextual AI. Для OpenAI нужен API-ключ с platform.openai.com/account/api-keys; ключ добавляют в учётные данные OpenAI.
Что изменить под себя
- Добавляются критерии оценки в конфигурацию тестов LMUnit: точность фактов, тон или полнота.
- Добавляются провайдеры LLM копированием узлов генерации ответов.
- Меняются пороги и логика агрегации.
- Настраивается формат итоговой сводки для панелей, таблиц или экспорта JSON.
Сервисы 4
- OpenAI811
- Google Gemini251
- Anthropic48
- Respond To Chat
Категории у источника: Разработка , ИИ-пересказ
Узлы workflow 11
- Merge
- Edit Fields (Set)
- Loop Over Items (Split in Batches)
- Wait
- Sticky Note
- Code
- Chat Trigger
- OpenAI
- Google Gemini
- Anthropic
- Respond To Chat
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Compare GPT-4, Claude & Gemini Responses with Contextual AI's LMUnit Evaluation» опубликовал на n8n.io Jinash Rouniyar. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.