Проверка выбора инструментов AI-агентом — шаблон n8n
Поведение AI-агента сверяется с ожидаемым набором инструментов и записывается в Google Sheets. В n8n: OpenAI помогает агенту выбирать инструменты, а узлы оценки фиксируют результат проверки.
Оригинал на n8n.io: Evaluate tool usage accuracy in multi-agent AI workflows using evaluation nodes — Angel Menendez
Открыть шаблон на n8n.io бесплатно- Сложность
- средний11 видов узлов
- Просмотров на n8n.io
- 21 260
- Опубликован
- Обновлён
- Автор
- Angel Menendezпроверен n8n.io
- Сверено
Что делает шаблон
Google Sheets хранит результат проверки для каждой строки тестового набора: фактически вызванные инструменты сопоставляются с ожидаемыми, а метрика tool_called получает значение true или false. Совпадение считается успешным прохождением, несовпадение фиксируется как ошибка. Проверка извлекает из промежуточных шагов агента действия и наблюдения. Запуск возможен через чат или оценку строк набора данных; для векторного поиска используется Qdrant, который нужно заполнить примерами запросов и результатов веб-поиска.
Как работает workflow по шагам
- Chat Trigger или Evaluation Trigger запускает workflow с сообщением либо строкой набора данных.
- AI Agent обрабатывает вход и обращается к связанным инструментам, включая калькулятор и поиск по векторной базе.
- Evaluation Trigger и Evaluation получают промежуточные действия и наблюдения агента.
- Evaluation сравнивает вызванные инструменты с ожидаемыми и присваивает метрике значение true или false.
- Google Sheets сохраняет результат проверки для последующей отладки.
Что нужно для запуска
- Учётные данные Google Sheets OAuth2 и таблица с тестовым набором данных.
- Учётные данные OpenAI или OpenRouter для агента и эмбеддингов.
- Учётные данные Firecrawl и Qdrant для веб-поиска и поиска по векторной базе.
- Векторная база Qdrant с примерами запросов и результатов веб-поиска.
Как подключить OpenAI к n8n
Для узлов агента и эмбеддингов нужны учётные данные OpenAI. Их следует настроить в соответствующих узлах workflow.
Что изменить под себя
- Заменить документ Google Sheets на таблицу с собственным тестовым набором.
- Выбрать модели и настроить инструменты агента, включая суммаризатор и векторное хранилище.
- Изменить системное сообщение Search Agent, задающее выбор инструментов.
- Добавить столбцы метрик в Evaluation для более сложной оценки.
- Подключить дополнительные узлы инструментов к агенту или заменить суммаризатор.
Кому подойдёт
Workflow предназначен разработчикам ИИ, которые проверяют решения автономных агентов и использование инструментов в многокомпонентных системах.
Сервисы 3
Категории у источника: Разработка , ИИ-пересказ
Узлы workflow 11
- No Operation, do nothing
- Edit Fields (Set)
- AI Agent
- Embeddings OpenAI
- Calculator
- Call n8n Workflow Tool
- Chat Trigger
- Qdrant Vector Store
- Openrouter Chat Model
- Evaluation Trigger
- Evaluation
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Evaluate tool usage accuracy in multi-agent AI workflows using evaluation nodes» опубликовал на n8n.io Angel Menendez. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.