Дом
Расходы на корпоративный ИИ: Модели Claude стоят на 20-30 % дороже GPT при развертывании
Широко известно, что в разных семействах моделей могут использоваться разные токенизаторы. Однако исследования того, как различается процесс токенизации в этих системах, были ограничены. Все ли токенизаторы производят одинаковое количество лексем для идентичного входного текста? Если нет, то насколько существенны эти различия? Какие практические последствия они несут?
В данной статье мы исследуем эти вопросы, изучая реальные последствия вариативности токенизации. Мы представляем сравнительный анализ двух ведущих семейств моделей: ChatGPT от OpenAI и Claude от Anthropic. Хотя их рекламируемые показатели "стоимость за токен" кажутся весьма конкурентоспособными, наше тестирование показало, что на практике модели Anthropic могут быть на 20-30 % дороже моделей GPT.
Ценообразование API - Claude 3.5 Sonnet против GPT-4o
По состоянию на июнь 2024 года ценовые структуры этих двух передовых моделей близко совпадают. И Claude 3.5 Sonnet от Anthropic, и GPT-4o от OpenAI имеют одинаковую стоимость выходных токенов, в то время как Claude 3.5 Sonnet предоставляет 40-процентную скидку на входные токены.
Источник: Vantage
Скрытая неэффективность токенизации
Несмотря на более низкую стоимость входных жетонов в Anthropic, наши эксперименты с фиксированными наборами подсказок показывают, что GPT-4o неизменно обеспечивает более экономичные общие затраты, чем Claude Sonnet-3.5.
Чем объясняется это несоответствие?
Токенизатор Anthropic обычно разделяет одинаковый входной текст на большее количество лексем по сравнению с подходом OpenAI. Это означает, что для одних и тех же подсказок модели Anthropic генерируют значительно большее количество лексем, чем их аналоги OpenAI. Следовательно, хотя стоимость ввода одного токена в Claude 3.5 Sonnet кажется ниже, увеличение объема токенов часто сводит на нет эту экономию, что приводит к увеличению общих затрат при практической реализации.
Эта скрытая стоимость возникает из-за методологии кодирования токенов Anthropic, которая часто требует больше токенов для представления эквивалентного контента. Инфляция количества токенов существенно влияет как на операционные расходы, так и на эффективность контекстного окна.
Вариации токенизации в зависимости от домена
Токенизатор Anthropic обрабатывает различные контентные домены с разной эффективностью, что приводит к непостоянному увеличению количества токенов по сравнению с моделями OpenAI. Исследовательское сообщество ИИ зафиксировало аналогичные различия в токенизации. Мы проверили наши результаты на трех известных доменах: статьи на английском языке, код на языке Python и математический контент.
Домен Входные данные модели Токены GPT Токены Клода % Накладные расходы на токены Английские статьи 
Дополнительные практические последствия различий в токенизацииПомимо прямых затрат, неэффективность токенизатора косвенно влияет на использование контекстного окна. Хотя модели Anthropic рекламируют контекстное окно на 200 тыс. токенов по сравнению со 128 тыс. в OpenAI, многословность токенизатора может фактически уменьшить эффективное полезное пространство в моделях Anthropic. Это создает потенциальное несоответствие между рекламируемыми размерами контекстного окна и их практической, эффективной емкостью.
Детали реализации токенизации
В моделях GPT используется кодирование пар байтов (BPE), которое объединяет часто встречающиеся пары символов для формирования токенов. Последние модели GPT специально используют токенизатор o200k_base с открытым исходным кодом. Фактические токены, используемые GPT-4o в токенизаторе tiktoken, находятся в открытом доступе.
JSON {#reasoning "o1-xxx": "o200k_base","o3-xxx": "o200k_base",# chat"chatgpt-4o-": "o200k_base","gpt-4o-xxx": "o200k_base",# например, gpt-4o-2024-05-13 "gpt-4-xxx": "cl100k_base",# например, gpt-4-0314 и т.д., плюс gpt-4-32k "gpt-3.5-turbo-xxx": "cl100k_base",# например, gpt-3.5-turbo-0301, -0401 и т. д.}
К сожалению, подход Anthropic к токенизации остается менее прозрачным, поскольку их токенизатор не так легко доступен, как у GPT. Anthropic представил API для подсчета токенов в декабре 2024 года, но в более поздних версиях 2025 года эта функция была упразднена.
Согласно Latenode, "Anthropic использует уникальный токенизатор, имеющий всего 65 000 вариантов токенов, по сравнению со 100 261 вариантом OpenAI для GPT-4". Общедоступный блокнот Colab содержит код на языке Python для анализа различий в токенизации между моделями GPT и Claude. Еще один инструмент, взаимодействующий с распространенными общедоступными токенизаторами, подтверждает наши выводы.
Для предприятий, использующих ИИ, возможность точно оценить количество токенов, не обращаясь к API реальных моделей, очень важна для прогнозирования затрат и составления бюджета.
Важнейшие сведения
- Конкурентная цена Anthropic содержит скрытые расходы:
Хотя Claude 3.5 Sonnet предлагает на 40 % более низкую стоимость входных токенов, чем GPT-4o, это кажущееся преимущество может быть обманчивым из-за фундаментальных различий в токенизации текста. - Скрытая неэффективность токенизации:
Антропные модели по своей природе производят больше токенов. Для организаций, обрабатывающих значительные объемы текста, понимание этого различия имеет решающее значение для точной оценки затрат на развертывание. - Производительность токенизации в зависимости от домена:
Выбирая между моделями OpenAI и Anthropic, внимательно оцените типичный входной контент. Если в задачах, связанных с естественным языком, разница в стоимости может быть минимальной, то в технических или структурированных доменах затраты на использование моделей Anthropic могут быть значительно выше. - Эффективная емкость контекстного окна:
Из-за многословности токенизации Anthropic рекламируемое контекстное окно объемом 200 КБ может предоставлять меньше практического полезного пространства, чем 128 КБ OpenAI, что может привести к разрыву между заявленным и реальным объемом контекста.
Anthropic не ответила на запрос VentureBeat о комментарии к моменту публикации. Мы обновим эту статью, если они предоставят ответ.
Связанная статья
Сэм Альтман вызывает споры о замедлении развития ИИ
Слушайте наApple PodcastsСлушайте наSpotifyГенеральный директор OpenAI Сэм Алтман недавно предположил, что, возможно, пришло время «сдерживать темпы развития ИИ», чтобы позволить обществу «укрепиться вокруг некоторых из этих новых уровней возможност
OpenAI оспаривает иск Apple о нарушении торговых тайн
OpenAI опровергла утверждения Apple о нарушении торговых тайк во вторник, заявив, что иск не имеет оснований.«Мы относимся к этим заявлениям серьезно, но не видим никаких доказательств, подтверждающих их», — stated OpenAI, как сообщил Ed Ludlow из B
Anthropic выходит на рынок юридических технологий ИИ по мере усиления конкуренции
Anthropic unveiled a suite of new chatbot capabilities on Tuesday, aimed at delivering automated support to legal practices. Эти инструменты были представлены во вторник и направлены на предоставление автоматизированной поддержки юридическим фирмам.
Рекомендации по связанным специальным темам
письмо
Лучшие генераторы конспектов на базе ИИ для длинных статей, оптимизированных для SEO
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Образование и обучение
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
Музыкальная композиция
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
Бизнес
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
Редактирование изображений
Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Быстрый
Лучшие библиотеки подсказок для ИИ в рабочих процессах ChatGPT
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
Комментарии (1)
![AnthonyGonzalez]()
Interesting pricing gap! But the tokenizer differences can really impact actual costs per task. I wonder if Claude's higher price is justified by better performance in certain use cases. 🤔
Широко известно, что в разных семействах моделей могут использоваться разные токенизаторы. Однако исследования того, как различается процесс токенизации в этих системах, были ограничены. Все ли токенизаторы производят одинаковое количество лексем для идентичного входного текста? Если нет, то насколько существенны эти различия? Какие практические последствия они несут?
В данной статье мы исследуем эти вопросы, изучая реальные последствия вариативности токенизации. Мы представляем сравнительный анализ двух ведущих семейств моделей: ChatGPT от OpenAI и Claude от Anthropic. Хотя их рекламируемые показатели "стоимость за токен" кажутся весьма конкурентоспособными, наше тестирование показало, что на практике модели Anthropic могут быть на 20-30 % дороже моделей GPT.
Ценообразование API - Claude 3.5 Sonnet против GPT-4o
По состоянию на июнь 2024 года ценовые структуры этих двух передовых моделей близко совпадают. И Claude 3.5 Sonnet от Anthropic, и GPT-4o от OpenAI имеют одинаковую стоимость выходных токенов, в то время как Claude 3.5 Sonnet предоставляет 40-процентную скидку на входные токены.
Источник: Vantage
Скрытая неэффективность токенизации
Несмотря на более низкую стоимость входных жетонов в Anthropic, наши эксперименты с фиксированными наборами подсказок показывают, что GPT-4o неизменно обеспечивает более экономичные общие затраты, чем Claude Sonnet-3.5.
Чем объясняется это несоответствие?
Токенизатор Anthropic обычно разделяет одинаковый входной текст на большее количество лексем по сравнению с подходом OpenAI. Это означает, что для одних и тех же подсказок модели Anthropic генерируют значительно большее количество лексем, чем их аналоги OpenAI. Следовательно, хотя стоимость ввода одного токена в Claude 3.5 Sonnet кажется ниже, увеличение объема токенов часто сводит на нет эту экономию, что приводит к увеличению общих затрат при практической реализации.
Эта скрытая стоимость возникает из-за методологии кодирования токенов Anthropic, которая часто требует больше токенов для представления эквивалентного контента. Инфляция количества токенов существенно влияет как на операционные расходы, так и на эффективность контекстного окна.
Вариации токенизации в зависимости от домена
Токенизатор Anthropic обрабатывает различные контентные домены с разной эффективностью, что приводит к непостоянному увеличению количества токенов по сравнению с моделями OpenAI. Исследовательское сообщество ИИ зафиксировало аналогичные различия в токенизации. Мы проверили наши результаты на трех известных доменах: статьи на английском языке, код на языке Python и математический контент.
| Домен | Входные данные модели | Токены GPT | Токены Клода | % Накладные расходы на токены |
| Английские статьи | Дополнительные практические последствия различий в токенизации Помимо прямых затрат, неэффективность токенизатора косвенно влияет на использование контекстного окна. Хотя модели Anthropic рекламируют контекстное окно на 200 тыс. токенов по сравнению со 128 тыс. в OpenAI, многословность токенизатора может фактически уменьшить эффективное полезное пространство в моделях Anthropic. Это создает потенциальное несоответствие между рекламируемыми размерами контекстного окна и их практической, эффективной емкостью. Детали реализации токенизацииВ моделях GPT используется кодирование пар байтов (BPE), которое объединяет часто встречающиеся пары символов для формирования токенов. Последние модели GPT специально используют токенизатор o200k_base с открытым исходным кодом. Фактические токены, используемые GPT-4o в токенизаторе tiktoken, находятся в открытом доступе. К сожалению, подход Anthropic к токенизации остается менее прозрачным, поскольку их токенизатор не так легко доступен, как у GPT. Anthropic представил API для подсчета токенов в декабре 2024 года, но в более поздних версиях 2025 года эта функция была упразднена. Согласно Latenode, "Anthropic использует уникальный токенизатор, имеющий всего 65 000 вариантов токенов, по сравнению со 100 261 вариантом OpenAI для GPT-4". Общедоступный блокнот Colab содержит код на языке Python для анализа различий в токенизации между моделями GPT и Claude. Еще один инструмент, взаимодействующий с распространенными общедоступными токенизаторами, подтверждает наши выводы. Важнейшие сведения
Anthropic не ответила на запрос VentureBeat о комментарии к моменту публикации. Мы обновим эту статью, если они предоставят ответ. |
Сэм Альтман вызывает споры о замедлении развития ИИ
Слушайте наApple PodcastsСлушайте наSpotifyГенеральный директор OpenAI Сэм Алтман недавно предположил, что, возможно, пришло время «сдерживать темпы развития ИИ», чтобы позволить обществу «укрепиться вокруг некоторых из этих новых уровней возможност
OpenAI оспаривает иск Apple о нарушении торговых тайн
OpenAI опровергла утверждения Apple о нарушении торговых тайк во вторник, заявив, что иск не имеет оснований.«Мы относимся к этим заявлениям серьезно, но не видим никаких доказательств, подтверждающих их», — stated OpenAI, как сообщил Ed Ludlow из B
Anthropic выходит на рынок юридических технологий ИИ по мере усиления конкуренции
Anthropic unveiled a suite of new chatbot capabilities on Tuesday, aimed at delivering automated support to legal practices. Эти инструменты были представлены во вторник и направлены на предоставление автоматизированной поддержки юридическим фирмам.
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
Interesting pricing gap! But the tokenizer differences can really impact actual costs per task. I wonder if Claude's higher price is justified by better performance in certain use cases. 🤔
