Токен в нейросети: что это и почему русский текст обходится дороже

Токен в нейросети — это часть текста: на такие кусочки модель разбивает ваш запрос и свой ответ. Иногда это целое короткое слово, чаще обрывок слова, и по-русски слово обычно рассыпается на несколько штук. Я прогнал обычную фразу через токенизатор OpenAI, чтобы это было видно своими глазами.

Я взял ещё три рабочие фразы вместе с переводами. Русский текст занял 65 токенов, тот же смысл по-английски 53, так что русский вышел длиннее примерно на четверть. Выборка крошечная, и у других моделей счёт свой, зато порядок понятен: на русское слово пришлось около полутора токенов, на английское чуть больше одного.

Деньгами это становится при работе через API, где цену указывают за миллион токенов отдельно на входе и на выходе. У GPT-6.1 Sol это $2 и $10, поэтому ответ обходится впятеро дороже запроса той же длины. Такие счета на целой линейке моделей показаны в разборе Claude Opus 5.5 и в сравнении цены и качества.

В подписке токены никуда не деваются, просто вместо счёта вы видите лимит. Модель при каждом вопросе заново перечитывает всю переписку, и недельный чат тратит лимит заметно быстрее нового. Отсюда и самая дешёвая привычка из всех: новая задача начинается в новом чате, а большой файл прикладывается один раз.

Нейросети без токенов тоже ищут, только таких моделей не бывает. Бесплатный чат тоже считает текст токенами, просто платит за него сервис и ограничивает вас объёмом.

И да, у слова есть второе значение. Токеном часто называют ключ доступа к сервису, вроде пароля для программ, и к кусочкам текста он отношения не имеет. Такой токен нельзя показывать никому, включая саму нейросеть.

Если вопрос пришёл к вам из теста, правильный ответ звучит как «часть текста». А для бюджета возьмите свой обычный запрос, умножьте число слов примерно на полтора и подставьте в тариф нужной модели. Точную цифру покажет счёт за первую партию.