RAG — схема работы нейросети, при которой перед ответом в запрос подставляются найденные фрагменты из внешней базы документов.
RAG (Retrieval-Augmented Generation, генерация с дополненной выборкой) — это схема работы языковой модели, при которой перед ответом в запрос подставляются найденные фрагменты из внешней базы документов. Модель отвечает не только по памяти обучения, а по данным, найденным под конкретный вопрос.
RAG простыми словами
Вместо того чтобы полагаться на знания, заложенные при обучении, модель сначала ищет нужную информацию в базе и строит ответ на её основе. Это позволяет работать со свежими и закрытыми данными без переобучения нейросети.
Как работает RAG
Документы заранее режут на фрагменты и индексируют, обычно через эмбеддинги в векторной базе. По вопросу пользователя система находит самые близкие фрагменты и подставляет их в промпт. Модель пишет ответ, опираясь на эти фрагменты. Если поиск нашёл не те куски текста, ответ будет неверным.
Найденный текст занимает место в контекстном окне и оплачивается как входные токены. Зато модель реже выдаёт галлюцинации и может сослаться на источник.
RAG в арбитраже трафика
На RAG строят ботов поддержки по базе знаний оффера, поиск по внутренним мануалам команды и по правилам рекламных площадок.
Чем RAG отличается от дообучения
При дообучении (fine-tuning) меняются веса LLM, при RAG меняется только то, что ей показывают в запросе.