К основному содержанию
NeFlows · шаблон n8n · Разработка

Проверка выбора инструментов AI-агентом — шаблон n8n

Поведение AI-агента сверяется с ожидаемым набором инструментов и записывается в Google Sheets. В n8n: OpenAI помогает агенту выбирать инструменты, а узлы оценки фиксируют результат проверки.

Оригинал на n8n.io: Evaluate tool usage accuracy in multi-agent AI workflows using evaluation nodes — Angel Menendez

Открыть шаблон на n8n.io бесплатно
Сложность
средний11 видов узлов
Просмотров на n8n.io
21 260
Опубликован
Обновлён
Автор
Angel Menendezпроверен n8n.io
Сверено

Что делает шаблон

Google Sheets хранит результат проверки для каждой строки тестового набора: фактически вызванные инструменты сопоставляются с ожидаемыми, а метрика tool_called получает значение true или false. Совпадение считается успешным прохождением, несовпадение фиксируется как ошибка. Проверка извлекает из промежуточных шагов агента действия и наблюдения. Запуск возможен через чат или оценку строк набора данных; для векторного поиска используется Qdrant, который нужно заполнить примерами запросов и результатов веб-поиска.

Как работает workflow по шагам

  1. Chat Trigger или Evaluation Trigger запускает workflow с сообщением либо строкой набора данных.
  2. AI Agent обрабатывает вход и обращается к связанным инструментам, включая калькулятор и поиск по векторной базе.
  3. Evaluation Trigger и Evaluation получают промежуточные действия и наблюдения агента.
  4. Evaluation сравнивает вызванные инструменты с ожидаемыми и присваивает метрике значение true или false.
  5. Google Sheets сохраняет результат проверки для последующей отладки.

Что нужно для запуска

  • Учётные данные Google Sheets OAuth2 и таблица с тестовым набором данных.
  • Учётные данные OpenAI или OpenRouter для агента и эмбеддингов.
  • Учётные данные Firecrawl и Qdrant для веб-поиска и поиска по векторной базе.
  • Векторная база Qdrant с примерами запросов и результатов веб-поиска.

Как подключить OpenAI к n8n

Для узлов агента и эмбеддингов нужны учётные данные OpenAI. Их следует настроить в соответствующих узлах workflow.

Что изменить под себя

  • Заменить документ Google Sheets на таблицу с собственным тестовым набором.
  • Выбрать модели и настроить инструменты агента, включая суммаризатор и векторное хранилище.
  • Изменить системное сообщение Search Agent, задающее выбор инструментов.
  • Добавить столбцы метрик в Evaluation для более сложной оценки.
  • Подключить дополнительные узлы инструментов к агенту или заменить суммаризатор.

Кому подойдёт

Workflow предназначен разработчикам ИИ, которые проверяют решения автономных агентов и использование инструментов в многокомпонентных системах.

Сервисы 3

Категории у источника: Разработка , ИИ-пересказ

Узлы workflow 11

  • No Operation, do nothing
  • Edit Fields (Set)
  • AI Agent
  • Embeddings OpenAI
  • Calculator
  • Call n8n Workflow Tool
  • Chat Trigger
  • Qdrant Vector Store
  • Openrouter Chat Model
  • Evaluation Trigger
  • Evaluation

Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.

Автор и первоисточник

Сценарий «Evaluate tool usage accuracy in multi-agent AI workflows using evaluation nodes» опубликовал на n8n.io Angel Menendez. Файл шаблона и авторское описание — на странице шаблона.

Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.

Похожие шаблоны n8n

Чат-бот по документам Google Drive с Gemini и Qdrant Документы из Google Drive workflow в n8n связывает с Qdrant и Google Gemini: бот отвечает на вопросы по найденным фрагментам и хранит историю диалога в Google Docs. Telegram · Google Drive · Google Docs · LangChain Code +3 86 649просмотров Инсайты по Hacker News в Google Sheets и Qdrant Комментарии Hacker News группируются по сходству: workflow в n8n связывает Hacker News, Qdrant и Google Sheets, а OpenAI помогает сформулировать выводы по каждой группе. Google Sheets · Hacker News · OpenAI · Qdrant 71 220просмотров Голосовой чат-бот OpenAI и ElevenLabs Голосовой чат-бот принимает вопросы через ElevenLabs и отвечает голосом на основе документов из Google Drive; в n8n OpenAI формирует ответ с учётом найденных данных. Google Drive · OpenAI · Qdrant 69 316просмотров Анализ графиков в Telegram через OpenAI Запросы трейдера в Telegram связываются в n8n с OpenRouter и OpenAI: ассистент отвечает на сообщения и разбирает графики с техническими индикаторами. Telegram · OpenAI · OpenRouter 61 276просмотров SEO-публикации из Google Sheets в WordPress Данные из Google Sheets становятся основой для SEO-публикаций: workflow в n8n связывает генерацию текста и изображений с WordPress, а OpenAI создаёт иллюстрацию для записи. Google Sheets · WordPress · OpenAI · OpenRouter 61 249просмотров AI-посты для автосервиса в Telegram и соцсетях Посты для автосервиса создаются с помощью ИИ и публикуются в Telegram, Facebook Graph API и X (Twitter); workflow в n8n связывает генерацию контента с соцсетями. Telegram · Facebook Graph API · X (Twitter) · LinkedIn +12 53 536просмотров

Спонсоры проекта

Компании, которые помогают держать аналитику открытой