亞馬遜最強Arm芯片，Graviton 4更多解讀

如果您希望可以時常見面，歡迎標星 收藏哦~

來源：內容來自半導體行業觀察（ID：icbank）綜合，謝謝。

亞馬遜 網絡服務 (AWS) 正在推出其第四代 Graviton 處理器 Graviton4 芯片，該公司分享了這一消息。

亞馬遜計算和人工智能產品管理總監拉胡爾·庫爾卡尼 (Rahul Kulkarni) 表示，新芯片有望在性能和效率方面實現大幅提升，包括計算能力和內存比上一代產品高出三倍、內存帶寬增加 75% 以及性能提高 30%。

庫爾卡尼在位於德克薩斯州奧斯汀的亞馬遜芯片實驗室透露：「總的來説，它提供了更高的性價比，這意味着每花一美元，你都能獲得更高的性能。」

隨着半導體繼續在全球經濟中發揮重要作用，為我們使用的幾乎所有東西提供動力，對芯片的需求也在增長。該行業目前的價值為 5440 億美元，預計到 2033 年將超過 1 萬億美元，這得益於對人工智能需求的不斷增長。

因此，亞馬遜、蘋果、Alphabet 和微軟等超大規模企業正在開發定製芯片，以滿足他們的特定需求、降低成本併爲客户提供更實惠的選擇。

「所有這些公司都在芯片開發上投入大量資金，」在 AMD 擔任副總裁十多年的帕特里克·穆爾黑德 (Patrick Moorhead) 表示。「他們不會談論他們投資了多少，但他們的研發預算非常龐大。」

Nvidia仍然是 AI 芯片市場的主導者，在圖形處理單元 (GPU) 市場佔有超過 80% 的份額。但 Moorhead 表示，有足夠的需求來支持多個競爭對手，他目前擔任 Moor Insights & Strategy 的首席執行官兼首席分析師。

雖然 Graviton4 芯片不是 AI 芯片，但它支持專注於該技術的 AWS 的 Inferentia 和 Trainium 芯片。Trainium 與 Nvidia 的 AI 芯片直接競爭，后者被認為是市場上速度最快、性能最強大的芯片。

然而，Kulkarni 強調，AWS 的目標並不是取代 Nvidia。相反，這家雲服務提供商希望為注重性價比的客户提供可行的替代方案，他們希望這能讓他們從迅速擴張的人工智能芯片市場中分得一杯羹。

Kulkarni 表示：「目前，如果客户更注重上市時間，我們提供的基於 Nvidia 的產品是一個很好的選擇。對於有些客户來説，成本是經營業務的一個非常令人望而卻步的因素。如果他們想要進行更多成本優化的 AI 工作負載（如訓練或推理），那麼我們的 Inferentia 和 Trainium 產品將是一個很好的選擇。」

除了從 Nvidia、AMD和英特爾等製造商購買芯片外亞馬遜還自行設計芯片。AWS 目前提供兩種主要芯片：專為 AI 設計的芯片和用於通用目的的芯片，例如 Graviton4。

在一次罕見的 AWS 實驗室參觀中，我們看到 AWS 工程師焊接和測試芯片設計，並使用軟件查找性能問題並在現場修復。

該公司稱這是降低開發成本的一種方法。

Kulkarni 表示：「我們可以調整產品、調整硅片，只關注對客户工作負載真正重要的事情。」

AWS 尚未披露 Graviton4 的具體定價細節，但這些處理器的租金為每秒 0.02845 美元。這種性價比對於 AWS 來説至關重要，因為它使用專有芯片為其雲基礎設施和服務器提供支持。

「AWS 客户可以使用 Graviton4 將 IT 費用減少一半，」Moorhead 表示。

AWS 的芯片戰略不僅僅是向客户提供芯片，還利用其所有芯片產品來支持自身的努力，其中包括一個新的大型語言模型，這是 OpenAI 的 ChatGPT 的潛在競爭對手。

穆爾黑德指出，雖然芯片的開發成本很高，但從長遠來看可以節省大量資金。

「假設你每年購買 100 萬個芯片，每個芯片可以節省 200 美元，Moorhead 説。「積少成多，你就可以投入大量資金來實現這一目標。」

對於投資者來説，芯片開發的盈利預期可能比實際芯片生產對公司利潤的影響更大。隨着 AWS 希望通過設計、測試和驗證其芯片來開拓自己的利基市場，分析師注意到該公司在半導體領域的影響力日益增強。

分析師對亞馬遜的盈利預期高於微軟或 Alphabet，僅 AWS 的利潤率在 2024 年第一季度就達到了 38%。

「AWS 在半導體領域享有很高的信譽，」Moorhead説。「十年前，我曾質疑，當其他公司投資數十億美元做芯片時，像這樣的公司如何能做芯片。但他們在這方面非常擅長。」

AWS 對 GRAVITON 4 實例收取高額費用

幾十年來，摩爾定律在服務器 CPU 性能和經濟性方面的改進讓我們所有人都認為，無論如何，隨着每一代處理器的不斷更新，我們總會看到單位性能成本的降低。但這並不總是發生，尤其是在 2020 年代晶體管尺寸縮小和時鍾頻率降低的末期。

亞馬遜網絡服務設計的 Graviton 4 處理器的市價顯然沒有發生這種情況，最初的 R8g 實例目前已普遍可用。最終，AWS 上將推出更多基於 Graviton 4 的實例，內存、本地存儲和 I/O 容量各不相同，但目前基本 R8g 實例僅在四個地區可用。

Graviton 系列基於 Arm 的 CPU 由雲巨頭 Annapurna Labs 部門設計，其規模逐漸擴大，隨着 Graviton 4 的推出，其能夠承擔更大的任務。該芯片具有更快的內核、更好的內核、更多的內核，並首次支持雙插槽 NUMA 內存集羣，從而帶來 192 個以 2.8 GHz 運行的內核，並由 1.5 TB 的主內存支持。與目前可供出租的 Graviton 4 相比，2018 年 11 月推出的原始 Graviton 1 芯片看起來就像一個玩具。

AWS 於去年 11 月推出了 Graviton 4，當時並未透露有關該芯片的許多細節。Annapurna Labs 高級首席工程師 Ali Saidi 填補了我們顯著特性表中的幾個空白。Saidi 解釋説，Graviton 4 芯片的運行速度為 2.8 GHz，非常接近我們猜測的 2.7 GHz。由於每個核心的 L2 緩存翻倍至 2 MB，AWS 團隊得以減少處理器上的 L3 緩存量，從而為每個芯片的核心數量擴大 50% 至 96 個留下更多空間。事實上，每個核心的 L3 緩存已限制為 384 KB，比每個核心的 L2 緩存小 2.7 倍。但是，在那 96 個核心中，L3 緩存加起來共享 36 MB，並且比每個核心的 2 MB L2 緩存提供更大的共享內存空間。

「因此，每個 L2 都變得更大，也就是 2 MB，而不是 1 MB，」Saidi 告訴The Next Platform。「原因很簡單。到達 L2 緩存需要 10 個周期，容量翻倍時需要 10 個周期。到達最后一級緩存需要 80 到 90 個周期。我們希望將盡可能多的內存放在儘可能接近的位置，我們將其設置為接近 8 倍。」

正如我們之前報道的那樣，Graviton 4 基於Arm Ltd 的「Demeter」 V2 內核，與 Nvidia 在其 72 核「Grace」 CPU 中使用的內核相同，並且許多其他芯片製造商也選擇使用這個內核。除了許多其他功能外，V2 內核還具有四個 128 位 SVE-2 矢量引擎，這對於許多 HPC 和 AI 工作負載非常有用。我們仍然不知道 AWS 為 Graviton 4 選擇的工藝節點、這款產品上的晶體管數量、它擁有的 PCI-Express 5.0 通道數量或其熱設計點。

但我們最終會了解這些事情。

AWS 在 33 個地區和 100 多個可用區部署了超過 200 萬個 Graviton 處理器，它是 AWS 雲的重要差異化因素，也是亞馬遜集團（擁有不同的媒體、娛樂、零售、電子和雲業務）的重要資源。事實上，假設 Graviton 4 實例與英特爾和 AMD 的大致相當的 X86 處理器相比，性價比高出大約 30% 到 40%（我們認為這次可能會高出 20% 到 25%，但需要查看一些跨架構基準才能做出更好的評估），我們看到的初始內存優化 R8g 實例的定價表明對 Graviton 4 的需求很高，高到購買它的客户可能會幫助母公司亞馬遜以比其他方式少得多的價格獲得自己的 Graviton 4 容量。

以下是 Graviton 4 實例的供給和速度，以及其按需和預留實例定價：

R8g 實例的單插槽內存從 1 到 96 個內核，從 8 GB 到 768 GB。網絡帶寬可按比例調整，每個實例最高可達 40 Gb/秒，彈性塊存儲 (EBS) 也最高可擴展到每個插槽 30 Gb/秒。我們認為雙插槽 Graviton 4 實例是一個特殊情況，因為雙插槽機器的網絡帶寬只有 50 Gb/秒，EBS 帶寬只有 40 Gb/秒。此外，沒有實例大小介於 96 和 192 個內核之間，如果亞馬遜正在構建的所有物理機器都基於雙插槽盒，那麼你會期望有這樣的實例。

再説一次，這可能只是 AWS 分配機器的方式。據我們所知，所有 Graviton 4 機器都可能是雙插槽系統。很明顯，AWS（以及其客户）重視跨處理器的 NUMA 內存共享，這是因為在 192 個內核和 1.5 TB 內存的情況下，這個節點可以運行相當大的工作負載，例如 SAP HANA 內存數據庫，它將在 R8g 實例上獲得認證。

AWS 計算和 AI/ML 產品組合產品管理總監 Rahul Kulkarni 表示，總體而言，從 Graviton 3 升級到 Graviton 4，客户應該可以預期性能至少會提升 30%，但在許多情況下，性能會提升 40% 甚至更高。這取決於工作負載的性質以及軟件使用的整數或矢量特徵。

AWS 為 Graviton 4 收取的溢價相當可觀。讓我們通過將 Graviton 4 R8g 實例與以前的 Graviton 2 和 Graviton 3 實例進行比較來看一下：

我們估計的 ECU（EC2 計算單元的縮寫，這是 AWS 早期使用的一種非常古老的相對性能指標）將 Graviton 4 系列的性能提升至 Saidi 和 Kulkarni 所説的您應該期望的最低 30% 的性能提升。對於上面顯示的這些實例，我們假設工作負載不受內存限制，並將相同的相對性能應用於每種 CPU 類型，而不管內存如何。在現實世界中，我們意識到，內存越多有時意味着您更接近計算引擎的理論性能。如果我們有更多數據，我們會估計較少內存對某些較小實例類型的性能影響。但我們沒有更多數據。

爲了獲得相對性價比，我們按照 AWS 當前的定價估算了運行每個實例一年的成本。爲了好玩，我們還估算了 R8gd 實例的成本，這些實例將像其他「gd」實例一樣擁有專用的本地閃存存儲。與往常一樣，這以粗體紅色斜體顯示。

結果如下：如果將頂級 64 核 R7g 與頂級 96 核 R8g 實例進行比較，R8g 實例的性能提高了 30％，但成本提高了 65％，性價比降低了 26.9 ％。

我們聽到了過去 CPU 發佈時發生過這種情況的迴響。1990 年 IBM 的 ES/9000 大型機。2001 年 Sun Microsystems 的 UltraSparc-III 系統。2017 年的英特爾「Skylake」Xeon SP v1 處理器。所有這些處理器的單位性能成本都高於其前代產品，而且是在競爭即將變得激烈的特別艱難時期。我們懷疑，對於 AWS 來説，這更多的是關於根據市場承受能力定價。但這正是 IBM、Sun 和英特爾會説的話。事實上，他們當時都這麼説過。我們當時就在那里。

參考鏈接

點這里 加關注，鎖定更多原創內容