文|新火種 文子
編輯|小迪
馬斯克又一大招,直逼OpenAI。
Grok-1.5突然發布,挑戰“勁敵”GPT-4
繼一周前開源GroK-1后,馬斯克又有了新動作,再一次劍指OpenAI。
3月29日,馬斯克旗下xAI團隊突然對外發布Grok-1.5大模型,主打就是一個“字少事大”。而這一次的動作,明擺著也是沖著GPT-4去的。
從Grok-1.5的基準測試結果來看,各項能力都有巨大的飛躍。其中最明顯的改進之一就是在代碼和數學相關方面的性能,尤其是涵蓋了從小學到高中的各種競賽問題。
比如在MATH基準測試中,Grok-1.5就取得50.6%的得分;在GSM8K基準測試中,Grok-1.5更獲得90%的得分。
而在評估代碼生成和解決問題能力的HumanEval基準測試中,Grok-1.5更是超越了GPT-4,得分高達74.1%,同時碾壓了一眾熱門的開源模型 Mistral Large、Claude 2等等。
另一個重要升級之一就是Grok-1.5改進了推理能力,從原先的24 %提升至50%。該模型現在能夠在上下文窗口中處理高達128K token的長文本,這相當于一部中篇小說的篇幅。這一改進使得Grok的處理能力達到了之前上下文長度的16倍,進而能夠充分利用長文檔中的信息。
此外,Grok-1.5模型還具備處理更長且更復雜的指令的能力,即便在上下文窗口擴大時,也能保持良好的指令遵循性。
無獨有偶,在Needle In A Haystack(NIAH)評估中,Grok-1.5還展現出了強大的信息檢索技能,能夠在一個包含128K字節的上下文中準確檢索到嵌入的文本,并實現了完美的檢索結果。
根據xAI官方的介紹,Grok-1.5是基于JAX、Rust和Kubernetes構建的定制分布式訓練框架之上。在大型計算集群中,維持大規模語言模型(LLMs)訓練作業的穩定性和持續性是關鍵的挑戰之一。xAI團隊開發的專屬訓練協調器,具備自動識別并隔離訓練過程中出現的故障節點的先進能力。
此外,xAI團隊還對檢查點的創建、數據加載以及訓練作業的重啟流程進行了優化,以降低故障帶來的停機時間。
在未來幾日內,Grok-1.5將向早期測試者和平臺用戶開放。隨著Grok-1.5逐漸普及至更廣泛的用戶群體,預計還將推出多項新功能。
全面對戰OpenAI,Grok-1.5開源成謎
要知道,這次Grok-1.5發布前,馬斯克因為起訴了OpenAI不開源,所以選擇開源了3140 億參數的模型Grok-1,也是截至目前參數量最大的開源大語言模型,規模相當于 Meta LlaMA 2 70B的4.4倍。
其實拋開馬斯克本身與OpenAI的恩怨情仇不講,Grok的開源決策并非倉促決定,而是經過深思熟慮。
表面上看Grok占據著X平臺資源優勢和馬斯克的影響力加持,但在大模型大爆發的當下,卻并沒有在大模型的“軍備競賽”中有太多競爭優勢。
特別是自2024年以來,Gemini、Claude 3等模型的發布,它們的能力已經接近甚至超越了GPT-4,這三個模型基本上確立了行業的第一梯隊。再加上Mistral AI和Inflection AI也在積極追趕,大模型的“虹吸效應”愈發顯著,留給馬斯克和Grok的時間已經不多了。
在這種形勢下,如果Grok堅持閉源開發的路線,它很可能會像之前諾基亞的Symbian系統一樣,被淘汰只是時間問題。這樣的結果不僅無法幫助馬斯克將X平臺商業化,還會成為一種昂貴的沉沒成本。
因此,擺在馬斯克面前的只剩下一條路,就是破釜沉舟用“開源”為Grok殺出一條血路。
月之暗面CEO楊植麟就曾表示,“如果我今天有一個領先的模型,開源出來,大概率不合理。反而是落后者可能會這么做,或者開源小模型,攪局嘛,反正不開源也沒價值。”
而Grok-1自開源5天后,在開源社區GitHub就獲得了高達4.2萬人的收藏,可見馬斯克這一步棋下的贏了民心。
所以哪怕目前Grok 團隊并未表示Grok-1.5是否開源,但有Grok-1打了頭陣,再加上馬斯克和OpenAI的官司,Grok-1.5大概率是要開源的,也就是時間長短的問題。
“ALL IN”和混戰,AI反擊戰打響
如果用一句話來形容現在的AI領域,就是一群瘋子在“ALL IN”和混戰。全球主流大模型間的比拼,仍沒有減慢的跡象。大家你出你的牌,我出我的牌。
在這場混戰之中,從馬斯克批判GPT背后的大模型濫用會引發人類危機,到親自下場參與大模型的開發,再到開源Grok-1,這種反差的背后更多不是技術和理念差異,而是商業利益和政治風向的變化。
馬斯克的目的也非常明確,就是和OpenAI硬剛到底,推出能夠匹敵ChatGPT的產品。
畢竟一旦GPT-4成功躍進到GPT-5,其他AIGC工具也會跟著實現爆發式增長,而這一切都將會大幅抹去X計劃中的AI部分,到時馬斯克整個商業帝國的基石就會受到嚴重侵蝕。這種結果對馬斯克而言無論是商業考量還是個人心理層面都無法接受,也促使他立馬發布了現在的Grok-1.5。
在xAI的官網里也可以看到馬斯克的初創團隊擁有12名核心成員,其中4名是華人。團隊成員曾在人工智能領域的其他知名公司工作過,包括OpenAI、谷歌研究院、微軟研究院和最近并入谷歌的DeepMind,也有來自多倫多大學的AI領域頂級學者。
目前xAI也同步開啟了招人計劃,招攬AI相關的技術人才加入。
其實不止馬斯克在加緊腳步,被馬斯克視作“宿敵”的OpenAI也在緊鑼密鼓的研發大模型。就在最近,有微軟工程師爆料,10萬個H100基建正在緊鑼密鼓地建設中,目的就是為了訓練GPT-6。
同時,一張名為“OpenAI內部時間線”的圖片也在網上瘋傳,里面清晰地標注出,OpenAI早在2022年8月-10月之間就開始了GPT-5的訓練,在2023年4月就已經開始訓練了GPT-4.5,而在去年9月就開始了GPT-6的測試。
所以無論消息是真是假,但有一點不可否認,馬斯克和OpenAI這場戰爭似乎看不到終點。
而馬斯克的2024年,還有好幾場硬仗要打。