Токен нейросети — единица текста, которой считает нейросеть: слово, часть слова или знак. В токенах измеряют объём запроса, ответа и цену работы модели.
Токен нейросети (Token) — это фрагмент текста: на такие фрагменты языковая модель разбивает запрос и из них собирает ответ. Короткое частое слово может быть одним токеном, длинное или редкое — несколькими; знаки препинания и пробелы тоже учитываются.
Токены простыми словами
За разбивку отвечает специальная программа — токенизатор. Он работает до того, как текст попадёт в модель. Русский текст обычно занимает больше токенов, чем английский той же длины. Модель не видит слов целиком, она оперирует последовательностью токенов.
Как считают токены и цену
В токенах измеряют размер контекстного окна модели, длину запроса и ответа, цену работы. По API платят отдельно за входные токены — всё, что отправлено модели: системный промпт, история диалога, документы, — и за выходные. Выходные обычно дороже. Цену называют за миллион токенов; длинная история диалога и большие документы в запросе оплачиваются при каждом обращении. Цены нейросетей за миллион токенов собраны в каталоге NeModels.
Токены в арбитраже трафика
Расход на токены считают как часть себестоимости, когда тексты, переводы и креативы генерируются потоком. Чем больше контекста в каждом запросе, тем дороже обходится обработка одного лида. Короткие запросы и ответы снижают расходы. Это влияет на юнит-экономику связок с массовой генерацией контента.
С чем путают токены нейросети
Не путать с токенами в криптовалютах и с токенами доступа — это другие понятия с тем же словом. Токен авторизации открывает доступ к API, токен нейросети — единица текста внутри модели.