自動駕駛戰爭一觸即發：100000個H100，鋼鐵俠打造全球最強AI集羣

Elon Musk的人工智能初創公司 xAI 已啟動位於田納西州孟菲斯的超級計算機集羣，該集羣由 100,000 個 Nvidia H100 GPU 組成。特斯拉首席執行官埃隆·馬斯克在社交媒體平臺 X 上的一篇帖子中證實了這一里程碑。

xAI 的超級計算機集羣預計將用於訓練該公司的大型語言模型 Grok，該模型目前作為 X Premium 訂閲者的一項功能推出。本月早些時候，馬斯克在 X 上的一篇文章中指出，xAI 的 Grok 3 將在 100,000 個 H100 GPU 上進行訓練，因此「這應該是一件非常特別的事情」。

馬斯克進一步詳細説明，該集羣由 100,000 個液冷H100 圖形處理單元 (GPU)組成，這是 Nvidia 從去年開始提供的芯片，受到 AI 模型提供商的高度需求，包括馬斯克在OpenAI的競爭對手（和前朋友）。

馬斯克還指出，該集羣在單個 RDMA 結構或遠程直接內存訪問結構上運行，思科指出這是一種在不增加中央處理單元 (CPU) 負擔的情況下在計算節點之間提供更高效、更低延迟的數據傳輸的方式。

顯然，xAI 的目標是在超級集羣上訓練自己的大模型。但更重要的是，馬斯克在回覆中表示，該公司的目標是訓練「按各指標衡量世界上最強大的人工智能」，並「在今年 12 月之前」實現這一目標。

他還發文稱，孟菲斯超級集羣將為此提供「顯著優勢」。

5 月份，我們報道了馬斯克計劃在 2025 年秋季之前開設超級計算工廠的雄心。當時，馬斯克急於開始超級集羣的開發，因此必須購買當前一代的「Hopper」H100 GPU。這似乎表明這位科技巨頭沒有耐心等待H200 芯片的推出，更不用説即將推出的基於 Blackwell 的 B100 和 B200 GPU。儘管人們預計較新的 Nvidia Blackwell 數據中心 GPU 將在 2024 年底之前發貨，但情況仍然如此。

那麼，如果超級計算工廠預計將於 2025 年秋季開業，那麼今天的新聞是否意味着該項目提前一年實現？確實可能提前了，但更有可能的是，今年早些時候接受路透社和 The Information 採訪的消息人士在項目時間方面説錯了話或被錯誤引用了。此外，隨着 xAI 孟菲斯超級集羣已經啟動並運行，關於 xAI 為什麼不等待更強大或下一代 GPU 的問題得到了解答。

超微提供了大部分硬件，該公司首席執行官也在馬斯克的帖子下發表評論，稱讚該團隊的執行力。此前，超微CEO最近對馬斯克的液冷 AI 數據中心大加讚賞。

在后續推文中，馬斯克解釋説，新的超級集羣將「訓練世界上所有指標中最強大的人工智能」。從之前的意向聲明中，我們假設 xAI 的 100,000 個 H100 GPU 安裝的功能現在將用於 Grok 3 訓練。馬斯克表示，改進后的 LLM 應該「在今年 12 月」完成訓練階段。

如果要將孟菲斯超級集羣的計算資源放在某種背景下來看，當然，從規模上看，新的 xAI 孟菲斯超級集羣在 GPU 馬力方面輕松超越了最新 Top500 榜單上的任何一臺超級計算機。世界上最強大的超級計算機，如 Frontier（37,888 個 AMD GPU）、Aurora（60,000 個 Intel GPU）和Microsoft Eagle（14,400 個 Nvidia H100 GPU），似乎都遠遠落后於 xAI 機器。

早在6 月初的報道中就披露，xAI 將在佔地 785,000 平方英尺的前伊萊克斯孟菲斯工廠建造一個超級計算機集羣，非正式地稱為「計算超級工廠」 。大孟菲斯商會在一份新聞稿中表示，xAI 的超級計算機項目是孟菲斯歷史上新上市公司在該市進行的最大資本投資。

xAI 的投資規模巨大。根據Benzinga 的一份報告，每塊 Nvidia H100 GPU 的成本估計在 30,000 至 40,000 美元之間。考慮到 xAI 使用了 100,000 台 Nvidia H100 單元，埃隆·馬斯克的 AI 初創公司似乎為該項目花費了約 30 億至 40 億美元。

值得一提的是，Elon Musk旗下的特斯拉已部署了約 35,000 台 Nvidia H100用於訓練自動駕駛汽車，並使用其定製的 Dojo 芯片開發超級計算機。