Как сообщает Techmeme, исследование показало, что запросы на языках, отличных от английского, могут расходовать значительно больше токенов при работе с ИИ. Разница между самым «дорогим» и самым «дешёвым» языком достигает 1,5–5 раз.
Авторы работы называют этот эффект «налогом токенизатора» (tokenizer tax). Токен — это единица, на которую языковая модель разбивает текст перед обработкой; тарифы большинства ИИ-сервисов привязаны именно к количеству токенов.
Чем больше токенов требуется, чтобы передать тот же смысл, тем дороже обходится каждый запрос. Для компаний, чьи продукты работают на нескольких языках, это может означать заметную разницу в затратах на ИИ в зависимости от языка пользователей.
