首页运行人工智能模型已成为一项内存挑战
关于人工智能基础设施成本的讨论往往聚焦于英伟达和GPU，但内存正逐渐成为这幅拼图中至关重要的一环。随着超大规模云服务商斥资数十亿美元建设新数据中心，DRAM芯片价格在过去一年里飙升了约七倍。
与此同时，一个日益兴起的新领域致力于协调管理这些内存，以确保正确的数据在正确的时间送达正确的AI代理。在这方面表现卓越的企业能够使用更少的令牌执行相同的查询——这一差异足以决定企业在竞争激烈的市场中的生存与否。
半导体分析师丹·奥劳克林（Dan O’Laughlin）在其Substack专栏中，通过与Weka首席AI官瓦尔·伯科维奇（Val Bercovici）的对话，对内存芯片的重要性提出了极具说服力的见解。两位专家均拥有半导体行业背景，因此他们的讨论侧重于硬件层面，但这对AI软件的启示同样意义重大。
其中一段尤为引人注目，伯科维奇在评论Anthropic公司提示词缓存文档日益复杂化的现象时指出：
线索就在Anthropic的提示缓存定价页面上。六七个月前，尤其是Claude Code发布之际，该页面还很简单，基本上就是说：“使用缓存，更便宜。”如今，它读起来却像是一本关于预购多少缓存写入量的建议百科全书。 你会看到行业常见的5分钟和1小时等时间段——但再长的时间段就没有了。这是一个耐人寻味的细节。当然，围绕缓存读取定价还存在各种套利机会，这取决于你预先购买了多少缓存写入次数。
核心问题在于Claude会在缓存中保留你的提示多长时间。你可以购买5分钟的时段，也可以选择更昂贵的小时级时段。访问仍处于缓存中的数据成本要低得多，因此有效的管理可以带来可观的节省。然而，这里有一个陷阱：查询中添加的每一条新数据都可能将缓存中的其他内容挤出。
尽管细节复杂，结论却很明确：AI模型内的内存管理将成为未来AI发展的关键因素。掌握这一技术的公司将获得显著的竞争优势。
这一新兴领域仍有巨大的发展空间。去年10月，我曾撰文介绍过一家名为TensorMesh的初创公司，该公司正在致力于技术栈中被称为“缓存优化”的这一层。
TechCrunch活动TechCrunch 2026 创始人峰会：门票开售
6月23日，波士顿 将迎来1,100余位创始人 齐聚TechCrunch 2026创始人峰会，共同度过聚焦增长、执行与实际规模化的一整天。向塑造了整个行业的创始人及投资人学习。与处于相似成长阶段的同行建立联系。带走可立即付诸实践的策略
购买个人通行证最高可节省300美元，四人及以上团队购买团体票最高可享30%折扣。
TechCrunch创始人峰会：门票开售
6月23日，波士顿将 迎来TechCrunch 2026创始人峰会 ，届时将有超过1,100位创始人齐聚一堂，共同度过一个专注于增长、执行与实际规模化发展的全天活动。向那些塑造了整个行业的创始人及投资者学习。与处于相似成长阶段的同行建立联系。带走可立即付诸实践的策略
购买通行证最高可节省300美元，四人及以上团队购买团体票最高可享30%折扣。
马萨诸塞州波士顿 | 2026年6月23日 立即注册技术栈的其他环节也蕴藏着机遇。例如，在更底层，存在数据中心如何利用不同类型内存的问题。（采访中包含关于何时使用DRAM芯片与HBM的深刻讨论，尽管内容相当技术性。）而在技术栈的更高层，终端用户正在学习如何构建模型集群，以有效利用共享缓存。
随着企业在内存编排方面的能力提升，其消耗的令牌将减少，从而降低推理成本。与此同时，模型在处理每个令牌时的效率也在提高，进一步推动成本下降。随着服务器支出的减少，许多目前被认为不可行的应用将开始接近盈利。
相关文章
前印孚瑟斯首席执行官的人工智能初创公司再获5300万美元融资
Hang Ten Systems，一家由前印孚瑟斯（Infosys）首席执行官 Vishal Sikka 在四个月前创立的人工智能初创公司，已获得额外的 5300 万美元种子轮融资。根据该公司向 TechCrunch 提供的声明，这一最新投资轮次在初始 3200 万美元种子轮融资结束仅仅五周后敲定。由淡马锡旗下早期投资平台 Xora 领投，这笔新资金使 Hang Ten 的总融资金额达到 8500 万美元。此前领投的 Mayfield 也参与了本轮投资。其他知名投资者包括 Aramco Ven
加密货币交易所OKX旨在让AI代理能够相互招聘并支付报酬
随着人工智能代理开始为个人提供服务并相互协作，它们需要相应的机制来寻找任务、获取服务报酬并建立信誉。加密货币交易所OKX预计这一未来将比预期来得更早，因此推出了一款市场平台，人工智能代理可在该平台上相互招募、独立处理支付，并维护可移植的链上信誉。该平台名为“OKX AI”，在经历了由50家早期AI服务提供商参与的封闭测试阶段后，将于本周二向开发者开放。该市场依托OKX现有的技术，使AI代理能够持有
蒂尔支持的一家初创公司声称，尽管存在对举报人的风险，但人工智能仍能评判新闻报道
在参与那起导致Gawker破产的诉讼后，阿隆·德索萨（Aron D’Souza）发现美国媒体格局中存在一个关键缺陷：受报道伤害的个人缺乏有效的回应途径。他的解决方案是技术。德苏扎的新创公司“Objection”利用人工智能来评估新闻报道的准确性。 用户只需支付2,000美元费用，即可对某篇报道提出异议，从而启动对其所载内容的公开审查。（德索萨还创办了“增强运动会”（Enhanced Games），
相关专题推荐
数据分析
适用于 SaaS 和电商团队的 KPI 监控最佳 AI 异常检测工具
2026 年最新最佳顶级评分 AI 异常检测工具，助力 SaaS 和电商团队的 KPI 监控！XIX.AI 基于严格的真实世界测试和每周更新的排名，精心策划了一套强大且颠覆性的工具合集。您将找到详细的免费与付费对比洞察，帮助您识别必须尝试的解决方案，从而提升生产力并释放您的 AI 优势。立即探索！
10 个工具
xix.ai
写作
最适合撰写长篇SEO文章的AI大纲生成器
2026年最新、最受好评的AI大纲生成器，专为长篇SEO文章打造，由XIX.AI精心甄选。这些强大的工具在快速创建高质量内容方面提供了颠覆性的帮助，显著提升了写作效率。 获取免费版与付费版的对比分析，以及实际测试结果和详细排名，助您找到最适合自身需求、不容错过的理想选择。立即探索，解锁您的AI竞争优势。
8 个工具
xix.ai
教育与学习
用于作业和考试备考的AI学习工具
2026年最新最佳AI学习工具，助您轻松完成作业和备考！XIX.AI精心筛选出一份广受好评的顶级工具清单，这些功能强大、颠覆传统的工具经过实际测试，能帮助学生提升效率、简化作业流程，并轻松通过考试。 获取免费版与付费版的对比分析、详细排名以及必试选项，释放你的AI优势。立即探索！
10 个工具
xix.ai
音乐创作
面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具
2026 年最新最佳 AI 人声演示工具，专为词曲创作者、旋律创作者和多语言内容团队打造！XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项，帮助您提升创作效率并释放创意潜力。立即探索，发现满足您所有内容需求的完美工具！
9 个工具
xix.ai
商业
适合中小企业的最佳AI竞品分析工具
2026年最新最佳、评价最高的中小企业AI竞争研究工具！XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具，每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比，从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索，发现最适合您的工具！
9 个工具
xix.ai
图像编辑
用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具
2026 年最新最佳 Photoshop AI 修图工具，适用于电商服装、皮肤清洁和色彩一致性！这份顶级精选列表包含强大的变革性解决方案，可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试，并通过每周更新的排名进行验证，同时提供免费与付费版本的详细对比。由 XIX.AI 支持，这是任何希望发挥 AI 优势的人必试指南。立即探索！
10 个工具
xix.ai
评论 (1)
0/500
![NicholasNelson]()
這篇文章點出了AI發展中常被忽略的記憶體瓶頸，挺有意思的。大家都在搶GPU，但DRAM價格一年漲七倍也太誇張了吧！這會不會讓小公司更難玩得起AI啊？🤔
关于人工智能基础设施成本的讨论往往聚焦于英伟达和GPU，但内存正逐渐成为这幅拼图中至关重要的一环。随着超大规模云服务商斥资数十亿美元建设新数据中心，DRAM芯片价格在过去一年里飙升了约七倍。
与此同时，一个日益兴起的新领域致力于协调管理这些内存，以确保正确的数据在正确的时间送达正确的AI代理。在这方面表现卓越的企业能够使用更少的令牌执行相同的查询——这一差异足以决定企业在竞争激烈的市场中的生存与否。
半导体分析师丹·奥劳克林（Dan O’Laughlin）在其Substack专栏中，通过与Weka首席AI官瓦尔·伯科维奇（Val Bercovici）的对话，对内存芯片的重要性提出了极具说服力的见解。两位专家均拥有半导体行业背景，因此他们的讨论侧重于硬件层面，但这对AI软件的启示同样意义重大。
其中一段尤为引人注目，伯科维奇在评论Anthropic公司提示词缓存文档日益复杂化的现象时指出：
线索就在Anthropic的提示缓存定价页面上。六七个月前，尤其是Claude Code发布之际，该页面还很简单，基本上就是说：“使用缓存，更便宜。”如今，它读起来却像是一本关于预购多少缓存写入量的建议百科全书。 你会看到行业常见的5分钟和1小时等时间段——但再长的时间段就没有了。这是一个耐人寻味的细节。当然，围绕缓存读取定价还存在各种套利机会，这取决于你预先购买了多少缓存写入次数。
核心问题在于Claude会在缓存中保留你的提示多长时间。你可以购买5分钟的时段，也可以选择更昂贵的小时级时段。访问仍处于缓存中的数据成本要低得多，因此有效的管理可以带来可观的节省。然而，这里有一个陷阱：查询中添加的每一条新数据都可能将缓存中的其他内容挤出。
尽管细节复杂，结论却很明确：AI模型内的内存管理将成为未来AI发展的关键因素。掌握这一技术的公司将获得显著的竞争优势。
这一新兴领域仍有巨大的发展空间。去年10月，我曾撰文介绍过一家名为TensorMesh的初创公司，该公司正在致力于技术栈中被称为“缓存优化”的这一层。
TechCrunch活动TechCrunch 2026 创始人峰会：门票开售
6月23日，波士顿 将迎来1,100余位创始人 齐聚TechCrunch 2026创始人峰会，共同度过聚焦增长、执行与实际规模化的一整天。向塑造了整个行业的创始人及投资人学习。与处于相似成长阶段的同行建立联系。带走可立即付诸实践的策略
购买个人通行证最高可节省300美元，四人及以上团队购买团体票最高可享30%折扣。
TechCrunch创始人峰会：门票开售
6月23日，波士顿将 迎来TechCrunch 2026创始人峰会 ，届时将有超过1,100位创始人齐聚一堂，共同度过一个专注于增长、执行与实际规模化发展的全天活动。向那些塑造了整个行业的创始人及投资者学习。与处于相似成长阶段的同行建立联系。带走可立即付诸实践的策略
购买通行证最高可节省300美元，四人及以上团队购买团体票最高可享30%折扣。
马萨诸塞州波士顿 | 2026年6月23日 立即注册技术栈的其他环节也蕴藏着机遇。例如，在更底层，存在数据中心如何利用不同类型内存的问题。（采访中包含关于何时使用DRAM芯片与HBM的深刻讨论，尽管内容相当技术性。）而在技术栈的更高层，终端用户正在学习如何构建模型集群，以有效利用共享缓存。
随着企业在内存编排方面的能力提升，其消耗的令牌将减少，从而降低推理成本。与此同时，模型在处理每个令牌时的效率也在提高，进一步推动成本下降。随着服务器支出的减少，许多目前被认为不可行的应用将开始接近盈利。
前印孚瑟斯首席执行官的人工智能初创公司再获5300万美元融资
Hang Ten Systems，一家由前印孚瑟斯（Infosys）首席执行官 Vishal Sikka 在四个月前创立的人工智能初创公司，已获得额外的 5300 万美元种子轮融资。根据该公司向 TechCrunch 提供的声明，这一最新投资轮次在初始 3200 万美元种子轮融资结束仅仅五周后敲定。由淡马锡旗下早期投资平台 Xora 领投，这笔新资金使 Hang Ten 的总融资金额达到 8500 万美元。此前领投的 Mayfield 也参与了本轮投资。其他知名投资者包括 Aramco Ven
加密货币交易所OKX旨在让AI代理能够相互招聘并支付报酬
随着人工智能代理开始为个人提供服务并相互协作，它们需要相应的机制来寻找任务、获取服务报酬并建立信誉。加密货币交易所OKX预计这一未来将比预期来得更早，因此推出了一款市场平台，人工智能代理可在该平台上相互招募、独立处理支付，并维护可移植的链上信誉。该平台名为“OKX AI”，在经历了由50家早期AI服务提供商参与的封闭测试阶段后，将于本周二向开发者开放。该市场依托OKX现有的技术，使AI代理能够持有
蒂尔支持的一家初创公司声称，尽管存在对举报人的风险，但人工智能仍能评判新闻报道
在参与那起导致Gawker破产的诉讼后，阿隆·德索萨（Aron D’Souza）发现美国媒体格局中存在一个关键缺陷：受报道伤害的个人缺乏有效的回应途径。他的解决方案是技术。德苏扎的新创公司“Objection”利用人工智能来评估新闻报道的准确性。 用户只需支付2,000美元费用，即可对某篇报道提出异议，从而启动对其所载内容的公开审查。（德索萨还创办了“增强运动会”（Enhanced Games），
2026 年最新最佳顶级评分 AI 异常检测工具，助力 SaaS 和电商团队的 KPI 监控！XIX.AI 基于严格的真实世界测试和每周更新的排名，精心策划了一套强大且颠覆性的工具合集。您将找到详细的免费与付费对比洞察，帮助您识别必须尝试的解决方案，从而提升生产力并释放您的 AI 优势。立即探索！
10 个工具
xix.ai
2026年最新、最受好评的AI大纲生成器，专为长篇SEO文章打造，由XIX.AI精心甄选。这些强大的工具在快速创建高质量内容方面提供了颠覆性的帮助，显著提升了写作效率。 获取免费版与付费版的对比分析，以及实际测试结果和详细排名，助您找到最适合自身需求、不容错过的理想选择。立即探索，解锁您的AI竞争优势。
8 个工具
xix.ai
2026年最新最佳AI学习工具，助您轻松完成作业和备考！XIX.AI精心筛选出一份广受好评的顶级工具清单，这些功能强大、颠覆传统的工具经过实际测试，能帮助学生提升效率、简化作业流程，并轻松通过考试。 获取免费版与付费版的对比分析、详细排名以及必试选项，释放你的AI优势。立即探索！
10 个工具
xix.ai
2026 年最新最佳 AI 人声演示工具，专为词曲创作者、旋律创作者和多语言内容团队打造！XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项，帮助您提升创作效率并释放创意潜力。立即探索，发现满足您所有内容需求的完美工具！
9 个工具
xix.ai
2026年最新最佳、评价最高的中小企业AI竞争研究工具！XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具，每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比，从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索，发现最适合您的工具！
9 个工具
xix.ai
2026 年最新最佳 Photoshop AI 修图工具，适用于电商服装、皮肤清洁和色彩一致性！这份顶级精选列表包含强大的变革性解决方案，可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试，并通过每周更新的排名进行验证，同时提供免费与付费版本的详细对比。由 XIX.AI 支持，这是任何希望发挥 AI 优势的人必试指南。立即探索！
10 个工具
xix.ai
這篇文章點出了AI發展中常被忽略的記憶體瓶頸，挺有意思的。大家都在搶GPU，但DRAM價格一年漲七倍也太誇張了吧！這會不會讓小公司更難玩得起AI啊？🤔
