首页企业人工智能成本：克劳德模型的部署价格比 GPT 高 20-30
众所周知，不同的模型系列可能采用不同的标记化器。然而，对这些系统之间实际标记化过程有何不同的研究却很有限。对于相同的输入文本，所有标记化器产生的标记数是否相同？如果不是，这些差异有多大？它们有什么实际意义？
本文通过研究标记化差异在现实世界中的影响来探讨这些问题。我们对两个主要模型系列进行了比较分析：OpenAI 的 ChatGPT 与 Anthropic 的 Claude。虽然它们宣传的 "每令牌成本 "似乎极具竞争力，但我们的测试表明，Anthropic 模型的实际成本可能比 GPT 模型高出 20-30%。
API 定价--克劳德 3.5 奏鸣曲与 GPT-4o 的对比
截至 2024 年 6 月，这两种先进前沿模型的定价结构非常接近。Anthropic 的 Claude 3.5 Sonnet 和 OpenAI 的 GPT-4o 在输出代币方面的成本保持一致，而 Claude 3.5 Sonnet 在输入代币方面提供 40% 的折扣。
资料来源：Vantage来源：Vantage
隐藏的代币化低效率
尽管 Anthropic 的输入令牌率较低，但我们使用固定提示集进行的实验表明，GPT-4o 始终比 Claude Sonnet-3.5 提供更经济的总体成本。
是什么原因造成了这种差异？
与 OpenAI 的方法相比，Anthropic 的标记器通常会将相同的输入文本分割成更多标记。这意味着，对于相同的提示，Anthropic 模型生成的标记数要明显高于 OpenAI 模型。因此，虽然 Claude 3.5 Sonnet 的每个标记输入成本看起来较低，但增加的标记化数量往往抵消了这些节省，导致实际实施的总成本较高。
这种隐性成本来自 Anthropic 的标记编码方法，它经常需要更多的标记来表示同等内容。令牌数量的膨胀大大影响了运营成本和上下文窗口的效率。
特定领域的标记化变化
Anthropic 的标记化器处理不同内容领域的效率各不相同，与 OpenAI 的模型相比，会产生不一致的标记数增长。人工智能研究界也记录了类似的标记化差异。我们在三个重要领域验证了我们的发现：英文文章、Python 代码和数学内容。
领域 模型输入 GPT 标记 克劳德代币 代币开销百分比 英文文章 
标记化差异的其他实际影响除了直接的成本考虑，令牌化器的低效率也会间接影响上下文窗口的利用率。虽然 Anthropic 模型宣传的上下文窗口为 200K 标记，而 OpenAI 为 128K，但标记化的冗余实际上可能会减少 Anthropic 模型的有效可用空间。这就造成了宣传的上下文窗口大小与其实际有效容量之间的潜在差异。
标记化实现细节
GPT 模型采用字节对编码 (BPE)，将经常出现的字符对组合成标记。最新的 GPT 模型特别采用了开源的 o200k_base 标记化器。GPT-4o 在 tiktoken 标记化器中使用的实际标记可公开访问。
JSON {#reasoning "o1-xxx"："o200k_base","o3-xxx":"o200k_base",# chat"chatgpt-4o-":"o200k_base","gpt-4o-xxx":"o200k_base",# e.g., gpt-4o-2024-05-13 "gpt-4-xxx"："CL100K_BASE"，# 例如，GPT-4-0314 等，加上 GPT-4-32K "GPT-3.5-TURBO-XXX"："cl100k_base",#例如，gpt-3.5-turbo-0301, -0401, etc.}
不幸的是，Anthropic 的令牌化方法仍然不太透明，因为他们的令牌化器不像 GPT 的那样容易获得。Anthropic 在 2024 年 12 月推出了令牌计数应用程序接口（Token Counting API），但这一功能在 2025 年以后的版本中停止使用。
根据 Latenode 的说法，"Anthropic 采用了独特的令牌器，只有 65000 种令牌变化，而 OpenAI 的 GPT-4 则有 100261 种变化"。一个公开可用的 Colab 笔记本包含 Python 代码，用于分析 GPT 和 Claude 模型之间的标记化差异。另一个与常见的、公开可用的标记化器接口的工具也证实了我们的发现。
对于人工智能企业来说，在不调用实际模型应用程序接口的情况下准确估算标记计数的能力对于成本预测和预算编制至关重要。
基本见解
- Anthropic 极具竞争力的定价包含隐藏费用：
虽然 Claude 3.5 Sonnet 的输入令牌成本比 GPT-4o 低 40%，但由于文本令牌化的根本差异，这一表面优势可能具有欺骗性。 - 隐藏的标记化低效率：
人类学模型本质上会产生更多的标记。对于处理大量文本的企业来说，了解这种差异对于准确评估部署成本至关重要。 - 特定领域的标记化性能：
在选择 OpenAI 和 Anthropic 模型时，请仔细评估您的典型输入内容。虽然自然语言任务可能显示出最小的成本差异，但技术或结构化领域使用 Anthropic 模型的成本可能要高得多。 - 有效的上下文窗口容量：
由于 Anthropic 的标记化冗长，其宣传的 200K 上下文窗口提供的实际可用空间可能小于 OpenAI 的 128K，从而可能造成宣称的上下文容量与实际容量之间的差距。
截至发稿时，Anthropic尚未回复VentureBeat的置评请求。如果他们做出回应，我们将更新本文。
相关文章
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼（Sam Altman）最近表示，现在可能是时候“控制人工智能的发展速度”，以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中，Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发，该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出，虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控，称该诉讼毫无根据。“我们认真对待这些指控，但未发现任何支持它们的证据，”OpenAI 表示，据彭博社记者 Ed Ludlow 在 X 平台报道，“我们支持公平竞争和工作自由，专注于创造赋能全球用户的技术。”此前，苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼，指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层，包括首席硬件官 Tang Tan，他是一名拥有
Anthropic 进入 AI 法律科技市场，竞争日益激烈
Anthropic 于周二发布了一系列新的聊天机器人功能，旨在为法律实务提供自动化支持。这些增强功能在年初推出的特定律所平台 Claude for Legal 基础上进行了扩展，增加了针对不同法律领域的专用法律插件和 MCP 连接器。随着法律人工智能领域竞争的加剧，这些工具应运而生。今年三月，利用代理式人工智能简化法律工作流的 AI 法律初创公司 Harvey 以 110 亿美元的估值获得了 2 亿美元融资。上个月，竞争对手 Legora 完成了 6 亿美元的 D 轮融资，并启动了一场由裘德·
相关专题推荐
数据分析
适用于 SaaS 和电商团队的 KPI 监控最佳 AI 异常检测工具
2026 年最新最佳顶级评分 AI 异常检测工具，助力 SaaS 和电商团队的 KPI 监控！XIX.AI 基于严格的真实世界测试和每周更新的排名，精心策划了一套强大且颠覆性的工具合集。您将找到详细的免费与付费对比洞察，帮助您识别必须尝试的解决方案，从而提升生产力并释放您的 AI 优势。立即探索！
10 个工具
xix.ai
写作
最适合撰写长篇SEO文章的AI大纲生成器
2026年最新、最受好评的AI大纲生成器，专为长篇SEO文章打造，由XIX.AI精心甄选。这些强大的工具在快速创建高质量内容方面提供了颠覆性的帮助，显著提升了写作效率。 获取免费版与付费版的对比分析，以及实际测试结果和详细排名，助您找到最适合自身需求、不容错过的理想选择。立即探索，解锁您的AI竞争优势。
8 个工具
xix.ai
教育与学习
用于作业和考试备考的AI学习工具
2026年最新最佳AI学习工具，助您轻松完成作业和备考！XIX.AI精心筛选出一份广受好评的顶级工具清单，这些功能强大、颠覆传统的工具经过实际测试，能帮助学生提升效率、简化作业流程，并轻松通过考试。 获取免费版与付费版的对比分析、详细排名以及必试选项，释放你的AI优势。立即探索！
10 个工具
xix.ai
音乐创作
面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具
2026 年最新最佳 AI 人声演示工具，专为词曲创作者、旋律创作者和多语言内容团队打造！XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项，帮助您提升创作效率并释放创意潜力。立即探索，发现满足您所有内容需求的完美工具！
9 个工具
xix.ai
商业
适合中小企业的最佳AI竞品分析工具
2026年最新最佳、评价最高的中小企业AI竞争研究工具！XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具，每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比，从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索，发现最适合您的工具！
9 个工具
xix.ai
图像编辑
用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具
2026 年最新最佳 Photoshop AI 修图工具，适用于电商服装、皮肤清洁和色彩一致性！这份顶级精选列表包含强大的变革性解决方案，可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试，并通过每周更新的排名进行验证，同时提供免费与付费版本的详细对比。由 XIX.AI 支持，这是任何希望发挥 AI 优势的人必试指南。立即探索！
10 个工具
xix.ai
评论 (1)
0/500
![AnthonyGonzalez]()
Interesting pricing gap! But the tokenizer differences can really impact actual costs per task. I wonder if Claude's higher price is justified by better performance in certain use cases. 🤔
众所周知，不同的模型系列可能采用不同的标记化器。然而，对这些系统之间实际标记化过程有何不同的研究却很有限。对于相同的输入文本，所有标记化器产生的标记数是否相同？如果不是，这些差异有多大？它们有什么实际意义？
本文通过研究标记化差异在现实世界中的影响来探讨这些问题。我们对两个主要模型系列进行了比较分析：OpenAI 的 ChatGPT 与 Anthropic 的 Claude。虽然它们宣传的 "每令牌成本 "似乎极具竞争力，但我们的测试表明，Anthropic 模型的实际成本可能比 GPT 模型高出 20-30%。
API 定价--克劳德 3.5 奏鸣曲与 GPT-4o 的对比
截至 2024 年 6 月，这两种先进前沿模型的定价结构非常接近。Anthropic 的 Claude 3.5 Sonnet 和 OpenAI 的 GPT-4o 在输出代币方面的成本保持一致，而 Claude 3.5 Sonnet 在输入代币方面提供 40% 的折扣。
资料来源：Vantage来源：Vantage
隐藏的代币化低效率
尽管 Anthropic 的输入令牌率较低，但我们使用固定提示集进行的实验表明，GPT-4o 始终比 Claude Sonnet-3.5 提供更经济的总体成本。
是什么原因造成了这种差异？
与 OpenAI 的方法相比，Anthropic 的标记器通常会将相同的输入文本分割成更多标记。这意味着，对于相同的提示，Anthropic 模型生成的标记数要明显高于 OpenAI 模型。因此，虽然 Claude 3.5 Sonnet 的每个标记输入成本看起来较低，但增加的标记化数量往往抵消了这些节省，导致实际实施的总成本较高。
这种隐性成本来自 Anthropic 的标记编码方法，它经常需要更多的标记来表示同等内容。令牌数量的膨胀大大影响了运营成本和上下文窗口的效率。
特定领域的标记化变化
Anthropic 的标记化器处理不同内容领域的效率各不相同，与 OpenAI 的模型相比，会产生不一致的标记数增长。人工智能研究界也记录了类似的标记化差异。我们在三个重要领域验证了我们的发现：英文文章、Python 代码和数学内容。
| 领域 | 模型输入 | GPT 标记 | 克劳德代币 | 代币开销百分比 |
| 英文文章 | 标记化差异的其他实际影响 除了直接的成本考虑，令牌化器的低效率也会间接影响上下文窗口的利用率。虽然 Anthropic 模型宣传的上下文窗口为 200K 标记，而 OpenAI 为 128K，但标记化的冗余实际上可能会减少 Anthropic 模型的有效可用空间。这就造成了宣传的上下文窗口大小与其实际有效容量之间的潜在差异。 标记化实现细节GPT 模型采用字节对编码 (BPE)，将经常出现的字符对组合成标记。最新的 GPT 模型特别采用了开源的 o200k_base 标记化器。GPT-4o 在 tiktoken 标记化器中使用的实际标记可公开访问。 不幸的是，Anthropic 的令牌化方法仍然不太透明，因为他们的令牌化器不像 GPT 的那样容易获得。Anthropic 在 2024 年 12 月推出了令牌计数应用程序接口（Token Counting API），但这一功能在 2025 年以后的版本中停止使用。 根据 Latenode 的说法，"Anthropic 采用了独特的令牌器，只有 65000 种令牌变化，而 OpenAI 的 GPT-4 则有 100261 种变化"。一个公开可用的 Colab 笔记本包含 Python 代码，用于分析 GPT 和 Claude 模型之间的标记化差异。另一个与常见的、公开可用的标记化器接口的工具也证实了我们的发现。 基本见解
截至发稿时，Anthropic尚未回复VentureBeat的置评请求。如果他们做出回应，我们将更新本文。 |
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼（Sam Altman）最近表示，现在可能是时候“控制人工智能的发展速度”，以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中，Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发，该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出，虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控，称该诉讼毫无根据。“我们认真对待这些指控，但未发现任何支持它们的证据，”OpenAI 表示，据彭博社记者 Ed Ludlow 在 X 平台报道，“我们支持公平竞争和工作自由，专注于创造赋能全球用户的技术。”此前，苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼，指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层，包括首席硬件官 Tang Tan，他是一名拥有
Anthropic 进入 AI 法律科技市场，竞争日益激烈
Anthropic 于周二发布了一系列新的聊天机器人功能，旨在为法律实务提供自动化支持。这些增强功能在年初推出的特定律所平台 Claude for Legal 基础上进行了扩展，增加了针对不同法律领域的专用法律插件和 MCP 连接器。随着法律人工智能领域竞争的加剧，这些工具应运而生。今年三月，利用代理式人工智能简化法律工作流的 AI 法律初创公司 Harvey 以 110 亿美元的估值获得了 2 亿美元融资。上个月，竞争对手 Legora 完成了 6 亿美元的 D 轮融资，并启动了一场由裘德·
2026 年最新最佳顶级评分 AI 异常检测工具，助力 SaaS 和电商团队的 KPI 监控！XIX.AI 基于严格的真实世界测试和每周更新的排名，精心策划了一套强大且颠覆性的工具合集。您将找到详细的免费与付费对比洞察，帮助您识别必须尝试的解决方案，从而提升生产力并释放您的 AI 优势。立即探索！
10 个工具
xix.ai
2026年最新、最受好评的AI大纲生成器，专为长篇SEO文章打造，由XIX.AI精心甄选。这些强大的工具在快速创建高质量内容方面提供了颠覆性的帮助，显著提升了写作效率。 获取免费版与付费版的对比分析，以及实际测试结果和详细排名，助您找到最适合自身需求、不容错过的理想选择。立即探索，解锁您的AI竞争优势。
8 个工具
xix.ai
2026年最新最佳AI学习工具，助您轻松完成作业和备考！XIX.AI精心筛选出一份广受好评的顶级工具清单，这些功能强大、颠覆传统的工具经过实际测试，能帮助学生提升效率、简化作业流程，并轻松通过考试。 获取免费版与付费版的对比分析、详细排名以及必试选项，释放你的AI优势。立即探索！
10 个工具
xix.ai
2026 年最新最佳 AI 人声演示工具，专为词曲创作者、旋律创作者和多语言内容团队打造！XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项，帮助您提升创作效率并释放创意潜力。立即探索，发现满足您所有内容需求的完美工具！
9 个工具
xix.ai
2026年最新最佳、评价最高的中小企业AI竞争研究工具！XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具，每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比，从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索，发现最适合您的工具！
9 个工具
xix.ai
2026 年最新最佳 Photoshop AI 修图工具，适用于电商服装、皮肤清洁和色彩一致性！这份顶级精选列表包含强大的变革性解决方案，可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试，并通过每周更新的排名进行验证，同时提供免费与付费版本的详细对比。由 XIX.AI 支持，这是任何希望发挥 AI 优势的人必试指南。立即探索！
10 个工具
xix.ai
Interesting pricing gap! But the tokenizer differences can really impact actual costs per task. I wonder if Claude's higher price is justified by better performance in certain use cases. 🤔
