Токены
Токены — кусочки текста, которыми оперирует LLM. По ним считается и контекстное окно, и стоимость API. Русский текст «съедает» токенов больше.
Также:
токенизациятокен LLM
Токен — минимальная единица, которой LLM «видит» текст. Это не буква и не слово, а кусок: для английского — примерно 0,75 слова на токен, для русского хуже — кириллица дробится мельче, так что русский текст забирает токенов заметно больше.
Зачем маркетологу это знать. Во-первых, биллинг: API-модели тарифицируются за токены ввода и вывода. Во-вторых, контекстное окно тоже измеряется в токенах — длинный русский промпт занимает его быстрее, чем кажется.
Практический вывод: если гоняешь объёмы через API, считай токены заранее. У меня за квартал через Veo и текстовые модели набегали реальные суммы — понимание токенов помогает не удивляться счёту.