GPT Next年底來襲！有效計算量百倍GPT-4，OpenAI耗資數百億打造基建

新智元報道

編輯：桃子

【新智元導讀】OpenAI的下一代前沿模型GPT Next，或許真的有着落了。KDD 2024峰會上，發言人再次稱，雖然GPT-3和GPT-4的能力相對接近，但GPT Next預計將取得實質性地性能躍升。

KDD上的一張PPT，再次掀起AI圈的風暴。

GPT Next今年準是跑不了了，而且有效計算量是GPT-4的100倍，預示着OpenAI未來模型的能力進一步提升。

這是OpenAI日本首席執行長Tadao Nagasaki，在KDD 2024峰會上，透露的關於下一代模型最新信息。

見過這張圖的人，一眼便認出，它的出現已經不下3次了....

GPT Next今年發佈，瘋狂暗示

5月，在巴黎舉行的Viva科技節上，OpenAI研究人員也將2024年，發佈的模型稱為GPT Next，性能遠高於GPT-4。

Nagasaki曾擔任AWS日本總裁，直到今年4月，正式加盟OpenAI成為日本地區的負責人。

他稱，與傳統軟件相比，AI技術正在呈指數級發展。

他進一步表示，雖然GPT-3和GPT-4的能力相對接近，但GPT Next預計將取得實質性地性能躍升。

這恰恰呼應了微軟Build開發者大會上，首席技術官Kevin Scott曾説的話，並暗示着截止今年年底，我們將擁有一個功能更強大的OpenAI模型。

會上，公佈的關於獵户座（Orion）和草莓項目更多信息包括：

今年發佈的GPT-4 Next，預計將使用迷你版草莓進行訓練，其計算資源與GPT-4大致相同，有效計算量是GPT-4的100倍。

這款全新AI模型將在過去基礎上，進化近百倍。

這100倍的增長，可能不是指計算資源的規模，而是有效計算量+ 2個OOM，包括對體系結構和學習效率的改進。

最近曝出的Orion，與GPT-4相比，相當於在10k H100上用時幾個月完成訓練，增加了10倍的計算資源規模，相當於+3 OOM，預計明年發佈。

此前，Information也爆料稱，OpenAI正在開發兩個AI新系統：

一個是草莓，在數學和編程等領域，有着更高能力的人工智能模型。另一個是獵户座，可能成為GPT-4的繼任者，或者就是GPT Next。

獵户座可能會用草莓生成高質量數據進行訓練，而且會大幅提升邏輯推理能力。

另外，Nagasaki還表示，OpenAI在全球擁有不到2000名員工，其中一半從事人工智能開發。

另一張，網上流傳的圖稱，不要以GPT-4o的進展，來預測Scaling Law。

大模型相當於需要1.5-2年的時間，才能真正進化出下一代。

而且，一名三星的高管稱，GPT-5可能有3-5萬億個參數，而GPT-4僅有1.7萬億。

這背后原因，不言而喻。

先機大模型的誕生，需要有強大算力基座。

耗資數百億美元，打造新基建

知情人士稱，Sam Altman正計算大規模建設AI所需的機器和系統。

而且，這一計劃將分散在美國各州展開，預計將耗資數百億美金。

今年2月，彭博曾報道，奧特曼一直在尋求美政府對該項目的批准。

這一項目希望，形成一個全球投資者聯盟，進而為AI發展所需的基礎設施提供資金支持。

而最新的細節是，目前正討論的項目類型包括，建設數據中心，增加能源容量，利用渦輪機、發電機傳輸電力，並擴大半導體制造。

據稱，支持者可能包括加拿大、韓國、日本、阿聯酋的投資者。

最近幾周，包括奧特曼在內的OpenAI高管，一直在與投資者會面，推進這筆交易。OpenAI首席戰略官Jason Kuan還前往日本韓國，與投資者談論這項計劃。

OpenAI還設想微軟，能夠參與這一項目。

恰在談判之際，OpenAI即將開啟新一輪數十億美元的融資，將由Thrive Capital牽頭，微軟、蘋果、英偉達也參與其中。

這輪融資結束后，OpenAI估值將超過1000億美元。

OpenAI又要截胡谷歌？

一位網友聽到一些傳聞，OpenAI可能於10月17日周四發佈新的東西。

谷歌DeepMind的首席科學家對此表示，「以一種奇怪的方式得知，我的公司將在10月18日宣佈一些事情」。

這樣的情況也確實屢見不鮮，從年初谷歌Gemini 1.5 Vs OpenAI Sora，再到5月谷歌支持200萬token Gemini 1.5 Pro和OpenAI GPT-4o，一直打到了現在。

而且，幾乎每次重大發布，OpenAI都要給谷歌來上重重一擊。

參考資料：

https://the-decoder.com/openai-japan-shares-vision-for-much-more-powerful-gpt-next-coming-in-2024/

https://x.com/AISafetyMemes/status/1830934573246521842

https://x.com/shaunralston/status/1830970351825871298