Сравнение LLM в Google Sheets — шаблон n8n
Тестирование запросов к языковым моделям в LM Studio собирает метрики для сравнения в Google Sheets. В n8n workflow связывает Google Sheets и OpenAI с проверкой активных моделей.
Оригинал на n8n.io: 🚀 Local multi-LLM testing & performance tracker — Wildkick
Открыть шаблон на n8n.io бесплатно- Сложность
- средний10 видов узлов
- Просмотров на n8n.io
- 4 741
- Опубликован
- Обновлён
- Автор
- Wildkick
- Сверено
Что делает шаблон
Google Sheets хранит результаты тестирования: ответы моделей, число слов, читаемость и время отклика. Данные собираются при проверке запросов к активным моделям LM Studio. Для сравнения создаётся таблица, а в настройках теста меняются температура и top P. Модели нужно установить и настроить в LM Studio; для соединения с ним обновляется IP-адрес. Версия workflow — 1.0.
Как работает workflow по шагам
- Chat Trigger запускает workflow для тестирования моделей.
- HTTP Request получает список активных моделей LM Studio.
- Split Out разделяет полученный список моделей.
- Basic LLM Chain передаёт запрос модели OpenAI Chat Model.
- Code рассчитывает метрики ответа, а Date & Time добавляет время.
- Google Sheets записывает результаты в таблицу.
Что нужно для запуска
- Установленный LM Studio с настроенными моделями.
- Таблица Google Sheets для записи результатов.
- Доступ к Google Sheets и OpenAI.
Что изменить под себя
- IP-адрес в настройках подключения к LM Studio.
- Температура и top P для тестирования.
- Список моделей и запросы для проверки.
- Таблица Google Sheets для результатов.
Кому подойдёт
Workflow подходит разработчикам, исследователям и специалистам по данным, которые сравнивают производительность нескольких языковых моделей.
Сервисы 2
Категории у источника: Разработка , ИИ-пересказ
Узлы workflow 10
- Google Sheets
- HTTP Request
- Edit Fields (Set)
- Date & Time
- Sticky Note
- Code
- Basic LLM Chain
- OpenAI Chat Model
- Split Out
- Chat Trigger
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «🚀 Local multi-LLM testing & performance tracker» опубликовал на n8n.io Wildkick. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.