埃隆·马斯克（Elon Musk）雄心勃勃的特斯拉Dojo AI超级计算机公开

多年来，埃隆·马斯克一直公开谈论Dojo，这是特斯拉AI雄心的核心超级计算机。2024年7月，马斯克强调了其重要性，宣布特斯拉的AI团队将在10月备受期待的无人驾驶出租车（robotaxi）发布前加紧对Dojo的研发。

那么，Dojo究竟是什么？它为何对特斯拉的长期战略如此关键？

本质上，Dojo是特斯拉定制的超级计算机，专为训练其“全自动驾驶”（FSD）神经网络而设计。Dojo的改进与特斯拉实现全自动驾驶能力和推出无人驾驶出租车服务的目标密切相关。目前，FSD已安装在数十万辆特斯拉汽车上，可以处理某些自动驾驶任务，但仍需人类驾驶员的关注。

在10月Cybercab发布后，特斯拉计划于今年6月在奥斯汀推出自主叫车服务，使用其自有车队。在2024年1月的第四季度及全年财报电话会议上，特斯拉宣布计划在2025年为美国客户引入无人监督的FSD。

尽管马斯克早先声称Dojo是特斯拉实现全自动驾驶雄心的关键，但他随着目标的临近对此话题相对沉默。自2024年8月以来，话题已转向Cortex，特斯拉在奥斯汀总部的新AI训练超级集群。马斯克描述Cortex拥有“用于FSD和Optimus视频训练的巨大存储容量”。

虽然特斯拉的第四季度股东报告提供了Cortex的更新，但对Dojo只字未提。特斯拉显然在AI上投入巨资，包括Dojo和现在的Cortex，以实现汽车和人形机器人的自主性。随着电动车市场竞争日益激烈，特斯拉的未来成功在很大程度上取决于掌握这些技术。

特斯拉Dojo的背景

埃隆·马斯克对特斯拉的愿景不仅限于制造汽车、太阳能板和储能系统。他希望特斯拉成为AI领域的领军者，通过模仿人类感知来开创自动驾驶技术。

与其他许多依赖激光雷达、雷达和摄像头以及高精度地图组合的自动驾驶技术公司不同，特斯拉旨在仅使用摄像头实现完全自主。这些摄像头捕获视觉数据，随后由高级神经网络处理，以做出实时驾驶决策。

在2021年特斯拉首次AI日上，前AI负责人Andrej Karpathy将公司的目标比喻为“从零开始构建一个合成动物”。马斯克自2019年以来一直在暗示Dojo，但它在AI日上正式亮相。

虽然Alphabet的Waymo等公司已成功商业化Level 4自动驾驶车辆，但特斯拉的系统仍需人类驾驶员操作。超过180万人订阅了特斯拉的FSD，价格从8000美元到15000美元不等。承诺是通过无线更新将Dojo训练的AI推送到客户手中。从FSD车辆收集的大量数据——数百万英里的视频片段——用于训练和优化系统。

然而，一些行业专家质疑这种数据密集型方法的有效性。普渡大学教授Anand Raghunathan对TechCrunch表示：“首先，存在经济约束，很快这样做就会变得过于昂贵。有人认为我们可能会用尽有意义的训练数据。更多数据并不一定意味着更多信息，这取决于数据是否包含有助于创建更好模型的信息，以及训练过程是否能将这些信息提炼成更好的模型。”

尽管有这些担忧，更多数据的趋势至少目前仍在持续。而更多数据需要更多计算能力来存储和处理，这正是Dojo超级计算机的用武之地。

什么是超级计算机？

Dojo是特斯拉的超级计算机系统，专为训练AI模型设计，特别是用于FSD。Dojo这个名字是对武术训练场所的致敬。

超级计算机由数千台较小的计算机组成，称为节点，每个节点配有CPU和GPU。CPU管理节点，而GPU处理复杂任务，如拆分操作并同时处理。GPU对机器学习任务至关重要，例如用于FSD训练模拟的任务。它们还为大型语言模型提供动力，这解释了为何Nvidia因生成式AI的兴起成为全球最具价值的公司。

特斯拉目前使用Nvidia GPU来训练其AI，但由于Nvidia芯片的高成本和有限供应，特斯拉正在寻求多元化硬件来源。

为何特斯拉需要超级计算机？

特斯拉的纯视觉方法需要超级计算机。驱动FSD的神经网络在大量驾驶数据上进行训练，以识别和分类车辆周围的物体并做出驾驶决策。当FSD使用时，这些网络必须以媲美人类感知的速度持续收集和处理视觉数据。

本质上，特斯拉旨在创建人类视觉皮层和大脑功能的数字复制品。为实现这一目标，特斯拉需要存储和处理来自其全球车队的大量视频数据，并运行无数模拟来训练其AI模型。

Dojo图片 pic.twitter.com/Lu8YiZXo8c

— Elon Musk (@elonmusk) 2024年7月23日

特斯拉目前依赖Nvidia的Dojo训练计算机，但正在开发自己的定制硬件以提高效率并降低成本。目标是开发提高带宽和降低延迟的硬件，摆脱标准GPU硬件。

更多关于这些芯片的信息

特斯拉与Apple类似，相信硬件和软件的无缝协作。这促使特斯拉为Dojo开发自己的芯片。

在2021年AI日上，特斯拉推出了D1芯片，一块掌心大小的硅片。D1的生产至少在2024年5月开始，由台湾积体电路制造公司（TSMC）使用7纳米半导体节点制造。D1拥有500亿个晶体管，芯片面积达645平方毫米，承诺为复杂任务提供高性能和效率。

“我们可以同时进行计算和数据传输，我们的定制指令集体系结构（ISA）完全针对机器学习工作负载进行了优化，”前自动驾驶硬件高级总监Ganesh Venkataramanan在2021年特斯拉AI日上表示。“这是纯粹的机器学习。”

虽然D1很强大，但与Nvidia的A100芯片相比稍逊一筹，后者也使用7纳米工艺，包含540亿个晶体管，芯片面积为826平方毫米。

为了实现更高带宽和计算能力，特斯拉的AI团队将25个D1芯片组合成一个模块，作为统一计算机系统运行。每个模块提供9千万亿次浮点运算的计算能力和36太字节每秒的带宽，并包括电源、冷却和数据传输所需的所有硬件。六个模块组成一个机架，两个机架形成一个机柜，十个机柜构成一个ExaPOD。在2022年AI日上，特斯拉透露计划通过部署多个ExaPOD来扩展Dojo，形成超级计算机。

特斯拉还在开发下一代D2芯片，以解决信息流瓶颈问题。D2将整个Dojo模块集成到单一硅片上。

特斯拉未透露订购或预期接收的D1芯片数量，也未提供Dojo超级计算机何时运行D1芯片的时间表。

在回应6月关于在德克萨斯州建造巨型GPU冷却器的X帖子时，马斯克表示，特斯拉计划在未来18个月内实现“半特斯拉AI硬件，半Nvidia/其他”。根据马斯克1月的评论，“其他”可能包括AMD芯片。

Dojo对特斯拉意味着什么？

通过控制芯片生产，特斯拉可能以更低成本为其AI训练计划增加显著计算能力，特别是在与TSMC扩大生产规模时。

这一举措还可能减少特斯拉对Nvidia日益昂贵且稀缺芯片的依赖。在特斯拉第二季度财报电话会议上，马斯克表达了对确保稳定GPU供应的担忧，强调需要更加关注Dojo。

尽管如此，特斯拉仍在为AI训练购买Nvidia芯片。6月，马斯克在X上发帖：

在我所说的特斯拉今年约100亿美元的AI相关支出中，大约一半是内部支出，主要用于特斯拉设计的AI推理计算机和我们所有汽车中的传感器，以及Dojo。在构建AI训练超级集群方面，Nvidia硬件约占成本的2/3。我目前对特斯拉Nvidia采购的初步估计为今年30亿至40亿美元。

— Elon Musk (@elonmusk) 2024年6月

“推理计算”指的是特斯拉车辆执行的实时AI计算，与Dojo处理的训练计算不同。

Dojo对特斯拉来说是一项风险高但潜力大的投资。马斯克承认特斯拉可能在Dojo上不会成功，但他将其视为特斯拉AI部门的基础，最初专为FSD和Optimus（特斯拉的人形机器人）的计算机视觉标注和训练量身定制。

未来版本的Dojo可能适用于通用AI训练，尽管这需要重写当前为GPU设计的软件。或者，特斯拉可以像AWS和Azure一样出租其计算能力。

在第二季度财报中，马斯克提到看到“通过Dojo与Nvidia竞争的路径”。2023年9月摩根士丹利的一份报告建议，Dojo可能通过无人驾驶出租车和软件服务为特斯拉增加5000亿美元的市值。

本质上，Dojo的芯片为特斯拉提供了一份保险单，同时具有巨大回报潜力。

Dojo进展如何？

路透社报道，特斯拉于2023年7月开始生产Dojo，但马斯克在2023年6月的X帖子中表示，Dojo已“上线并运行有用任务几个月”。

特斯拉预计Dojo将在2024年2月前跻身全球五大最强大超级计算机之列，尽管这尚未得到公开确认，令人对其实现情况存疑。公司还预计Dojo的总计算能力将在2024年10月达到100 exaflops。（1 exaflops等于每秒1 quintillion次计算操作。要达到100 exaflops，假设一个D1可实现362 teraflops，特斯拉将需要超过276,000个D1，或约320,500个Nvidia A100 GPU。）

2024年1月，特斯拉承诺投资5亿美元在其纽约布法罗超级工厂建造Dojo超级计算机。

2024年5月，马斯克提到特斯拉奥斯汀超级工厂的后部将专用于“超密集水冷超级计算机集群”，后来证实这是用于Cortex，而非Dojo。

在特斯拉第二季度财报电话会议后，马斯克在X上发帖称，特斯拉的AI团队正在使用特斯拉HW4 AI计算机（更名为AI4，特斯拉车辆中的硬件）与Nvidia GPU一起进行训练循环。他指出，大约有90,000个Nvidia H100和40,000个AI4计算机。

“Dojo 1将在年底前拥有大约8,000个H100等效的训练上线，”他继续说。“不算巨大，但也不小。”

特斯拉尚未确认这些芯片是否现已运行Dojo。在公司2024年第四季度财报电话会议上，未提及Dojo，但特斯拉报告在第四季度完成了Cortex的部署，支持了监督FSD的V13版本。

此文最初发布于2024年8月3日，我们将根据新信息更新内容。