Семантический кэш ответов в Redis и OpenAI — шаблон n8n
Вопросы в n8n проходят семантическую проверку в Redis: похожие запросы получают сохранённый ответ, а новые передаются OpenAI; для сравнения используются эмбеддинги Hugging Face.
Оригинал на n8n.io: Reduce LLM Costs with Semantic Caching using Redis Vector Store and HuggingFace — Tihomir Mateev
Открыть шаблон на n8n.io бесплатно- Сложность
- сложный13 видов узлов
- Просмотров на n8n.io
- 1 852
- Опубликован
- Обновлён
- Автор
- Tihomir Mateev
- Сверено
Что делает шаблон
Чат возвращает ответ из Redis, если там находится семантически похожий вопрос; при промахе ответ формирует языковая модель OpenAI, после чего он сохраняется для следующих обращений. Порог distanceThreshold в узле Analyze results from store задаёт строгость совпадения: 0.2 даёт меньше ложных совпадений, 0.5 — больше попаданий в кэш, а значение по умолчанию равно 0.3. Шаблон рассчитан на повторяющиеся вопросы. Запросы о текущих данных, персонализированные ответы и вопросы, которым каждый раз нужен свежий контекст, для кэширования не подходят. Эмбеддинги поддерживают работу с разными языками.
Как работает workflow по шагам
- Chat Trigger запускает workflow, когда пользователь отправляет вопрос через чат.
- Redis Vector Store ищет в кэше семантически похожие вопросы.
- If проверяет результат поиска и направляет workflow по ветке совпадения или промаха.
- При промахе AI Agent получает ответ от OpenAI Chat Model и сохраняет его в Redis Vector Store.
- Redis Chat Memory хранит контекст разговора, а Respond To Chat отправляет ответ в чат.
Что нужно для запуска
- Ключ API OpenAI для языковой модели.
- Ключ API Hugging Face для эмбеддингов.
- Redis 8.x для векторного хранилища.
Что изменить под себя
- Порог distanceThreshold меняется в узле Analyze results from store.
- Для кэша можно настроить срок хранения ответов с помощью TTL.
- Можно разделить кэш по темам с помощью категорий.
Кому подойдёт
Подходит для поддержки клиентов, чат-ботов по документации и систем FAQ с повторяющимися вопросами.
Сервисы 5
- Embeddings Hugging Face Inference
- OpenAI811
- Redis
- Respond To Chat
- Redis Vector Store
Категории у источника: Разработка , ИИ-чат-боты
Узлы workflow 13
- If
- Sticky Note
- Code
- Manual Trigger
- AI Agent
- Embeddings Hugging Face Inference
- OpenAI Chat Model
- Redis Chat Memory
- Recursive Character Text Splitter
- Default Data Loader
- Chat Trigger
- Respond To Chat
- Redis Vector Store
Виды узлов, из которых собран сценарий, — как их перечисляет страница шаблона. Серым — служебные узлы n8n.
Автор и первоисточник
Сценарий «Reduce LLM Costs with Semantic Caching using Redis Vector Store and HuggingFace» опубликовал на n8n.io Tihomir Mateev. Файл шаблона и авторское описание — на странице шаблона.
Русское описание написано языковой моделью по странице шаблона и прошло автоматическую проверку: в нём нет сервисов и чисел, которых нет у автора. Сценарий принадлежит автору; каталог его не хранит.