1,56
похода до Мордора
Трилогия «Властелин колец» без приложений занимает 641 507 токенов.
оценкаМиллион токенов. Это сколько?
потяните за ползунок
Книги, чаты, крики, рэп и единороги. Всё измерено одной токенной линейкой.
В 1 000 000 токенов помещается примерно
9,18 ×
«Гарри Поттер», том 1
Объём выбранного примера: 108 991 токен.
С чем сравнить
Ползунок меняет количество токенов. Кнопки ниже меняют только сравнение.
Короткие тексты
Песни и речь
Книги
Большие истории
Странности
Модель видит не слова и страницы, а токены. Мы посчитали знакомые книги, речь, короткие тексты и несколько странных примеров, чтобы любой объём было проще представить.
Токен не всегда совпадает с целым словом
Токенизатор делит текст на короткие фрагменты и присваивает каждому номер. Модель получает последовательность этих номеров и предсказывает следующий токен.
Для обычного английского текста грубый ориентир: около четырёх знаков на токен. Но это не формула. Числа, эмодзи, редкие слова и форматирование делятся иначе.
Токены заполняют контекстное окно и влияют на стоимость запроса. У GPT-5.6 оно сейчас вмещает 1,05 млн токенов. Инструкции, история, инструменты и будущий ответ делят это место между собой. Текущие модели OpenAI
На этой странице o200k_base служит одной стабильной линейкой для сравнений. Это не обещание точного счёта любого запроса к любой модели.
Открыть токенизатор OpenAI
Как точно считать полный запрос к модели
- текст
- Достопримечательности
- токенизатор
- Д | ост | опр | имеч | атель | ности
- номера токенов
- 4365 | 2679 | 38194 | 159101 | 9829 | 8030
- модель
- 6 фрагментов попали в контекст
Попробуйте настоящий токенизатор
Вставьте текст и посмотрите, где проходят границы токенов и какой номер получил каждый фрагмент. Подсчёт выполняется локально в браузере с кодировкой o200k_base.
Текст остаётся на этом устройстве. На сервер он не отправляется.
Загружаем локальный токенизатор…
0
токенов
0Токены
0Знаки
0Слова
0Знаков / токен
Крупно показан фрагмент. Под ним указан номер токена. Точка обозначает пробел.
Введите текст, и здесь появятся его токены.
Музей токенных странностей
Миллион токенов соответствует примерно 2 222 книжным страницам или 8,9 обычного романа на 250 страниц. Ниже ещё шестнадцать сравнений. Книги в открытом доступе посчитаны целиком. Для книг, защищённых авторским правом, использовано опубликованное число слов. Короткие тексты и повторяющиеся символы посчитаны точно.
64 %
серии «Гарри Поттер»
Семь книг занимают около 1 550 591 токен. Миллиона хватит примерно на две трети серии.
оценка1,12
«Войны и мира»
Русский текст: 892 850 токенов.
точное измерение27
падений в кроличью нору
Столько раз помещается «Алиса в Стране чудес».
точное измерение175
копий Конституции США
5 725 токенов в официальном тексте.
точное измерение455
исполнений Rap God
Почти 46 часов рэпа без остановки.
оценка2,45
дня подкаста
По типовой скорости 150 слов в минуту это 59 часов разговора.
типовой объём41
день обычной речи
Расчёт основан на оценке исследования 2025 года: в среднем 12 792 слова на человека в день.
оценка35
полных киносценариев
Типовой сценарий на 110 страниц. Попкорн в контекст не входит.
типовой объём17 %
«Колеса Времени»
Вся серия оценивается в 6 043 852 токена.
оценка71 429
сообщений «Я уже выхожу из метро…»
Фраза «Я уже выхожу из метро, буду через 5 минут» занимает 14 токенов.
точное измерение55 556
списков покупок по 7 пунктов
Молоко, хлеб, яйца, кофе, лимоны, сыр и шоколад занимают 18 токенов.
точное измерение12 195
постов на 280 знаков
Один пример занимает 82 токена.
точное измерение333 333
единорогов
Один 🦄 распадается на три токена. Проверено на 1 000 единорогах.
точное измерение8 000 000
букв A в одном крике
Последовательность из 8 000 букв A заняла ровно 1 000 токенов.
точное измерение1 000 000
смеющихся лиц
В тесте из 1 000 повторов каждый 😂 занял один токен.
точное измерениеПочему слово «достопримечательности» распалось на шесть частей
Токенизатор не делит слово по буквам или слогам. Он использует фрагменты, которые часто встречались в обучающих текстах. Поэтому редкое длинное слово может состоять из нескольких токенов, тогда как знакомое короткое слово может стать одним токеном.
Точка обозначает пробел. Число под фрагментом показывает номер токена. Замените слово в токенизаторе выше, и разбиение изменится.
достопримечательности
д489ост2679опр38194имеч159101атель9829ности8030
6 токенов
Всё, что мы посчитали
Список отсортирован по объёму. «Измерено» означает, что доступный текст посчитан целиком. «Оценка» означает, что число рассчитано по опубликованному количеству слов или по типичному объёму.
| Штук в миллионе | Как получено |
|---|
Что из этого следует
Понимать ограничения ИИ-моделей и работать с ними помогает Wai Combinator
Для вашего текста доступно меньше полного лимита
Контекстное окно делят системные инструкции, история диалога, результаты инструментов, изображения и будущий ответ. Поэтому для вставленного документа всегда остаётся меньше места.
Лимит зависит от модели
На 26 августа 2026 года у GPT-5.6 контекст 1,05 млн токенов. У других моделей лимиты отличаются и со временем меняются.
Линейка подходит для сравнения, API для точного подсчёта
o200k_base даёт сопоставимые результаты для всех примеров на странице. Для полного запроса к конкретной модели OpenAI рекомендует Input Token Count API, потому что он учитывает также служебную структуру сообщений, инструменты, файлы и изображения.
Как мы считали
- Токенизатор
- Все сравнения и интерактивный токенизатор используют кодировку o200k_base через gpt-tokenizer 4.0.0. Это единая линейка, а не точный подсчёт для всех моделей.
- Тексты
- Английские тексты взяты из Project Gutenberg. Служебные заголовки и тексты лицензий удалены перед подсчётом. Русские тексты взяты из ru.wikisource.org без таблиц и сносок. Если там были современная и дореформенная версии, мы считали только современную.
- Оценки
- Для произведений, защищённых авторским правом, мы не использовали полный текст. Опубликованное число слов умножено на измеренное отношение токенов к словам для соответствующего языка. Такие строки помечены как оценки.
- Сравнение языков
- Перевод никогда не бывает точной копией оригинала. Переводчики по-разному строят и делят фразы. Поэтому сравнение показывает примерный масштаб, а не точный коэффициент.
- Как повторить расчёты
- Скрипт измерения лежит в репозитории: scripts/build-token-corpus.mjs. Для полного запроса к модели с сообщениями, инструментами, файлами или изображениями нужен официальный Input Token Count API.