К основному содержанию
Глоссарий

Токен нейросети — что это и как считают

Токен нейросети — единица текста, которой считает нейросеть: слово, часть слова или знак. В токенах измеряют объём запроса, ответа и цену работы модели.

Токен нейросети (Token) — это фрагмент текста: на такие фрагменты языковая модель разбивает запрос и из них собирает ответ. Короткое частое слово может быть одним токеном, длинное или редкое — несколькими; знаки препинания и пробелы тоже учитываются.

Токены простыми словами

За разбивку отвечает специальная программа — токенизатор. Он работает до того, как текст попадёт в модель. Русский текст обычно занимает больше токенов, чем английский той же длины. Модель не видит слов целиком, она оперирует последовательностью токенов.

Как считают токены и цену

В токенах измеряют размер контекстного окна модели, длину запроса и ответа, цену работы. По API платят отдельно за входные токены — всё, что отправлено модели: системный промпт, история диалога, документы, — и за выходные. Выходные обычно дороже. Цену называют за миллион токенов; длинная история диалога и большие документы в запросе оплачиваются при каждом обращении. Цены нейросетей за миллион токенов собраны в каталоге NeModels.

Токены в арбитраже трафика

Расход на токены считают как часть себестоимости, когда тексты, переводы и креативы генерируются потоком. Чем больше контекста в каждом запросе, тем дороже обходится обработка одного лида. Короткие запросы и ответы снижают расходы. Это влияет на юнит-экономику связок с массовой генерацией контента.

С чем путают токены нейросети

Не путать с токенами в криптовалютах и с токенами доступа — это другие понятия с тем же словом. Токен авторизации открывает доступ к API, токен нейросети — единица текста внутри модели.

Синонимы: Token, токены в нейросети, токены ИИ

Обновлено 21.11.2026

Спонсоры проекта

Компании, которые помогают держать аналитику открытой