全面轉(zhuǎn)向生成式AI!蘋果推出300億參數(shù)多模態(tài)大模型

牛占林2024-03-19 17:44

相較于英偉達、微軟等大型科技股,蘋果今年的表現(xiàn)令人失望不已,股價年內(nèi)跌逾10%,且失去了“全球市值最高公司”的寶座。

背后原因很簡單,蘋果在這場人工智能(AI)競賽中落伍了。為了擺脫窘境,蘋果近期放棄了造車項目,正在全面轉(zhuǎn)向生成式AI領(lǐng)域,并且很快有了新動作。

就在近日,蘋果公司研發(fā)團隊發(fā)布了一篇論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公布了多模態(tài)大模型MM1,展示了該公司在AI方面的進展與實力。

image

據(jù)悉,MM1最高參數(shù)量為300億,該模型支持增強的上下文學習和多圖像推理,在一些多模態(tài)基準測試中有較好表現(xiàn)。

研究人員使用這些模型進行實驗,找出影響大模型表現(xiàn)的關(guān)鍵因素。有趣的是,圖像分辨率和圖像標簽數(shù)量比視覺語言連接器的影響更大,不同的預訓練數(shù)據(jù)集會顯著影響模型的有效性。

MM1的獨特之處在于其龐大的規(guī)模和架構(gòu)創(chuàng)新,包括密集的模型和混合專家模型。這些模型證明了研究人員方法的有效性,將大規(guī)模預訓練與戰(zhàn)略性數(shù)據(jù)選擇相結(jié)合,以增強模型的學習能力。

研發(fā)團隊稱,MM1不僅在預訓練指標中是“最先進的”,并且在一系列已建立的多模態(tài)基準測試中,經(jīng)過微調(diào)后也保持了“有競爭力的”性能。

MM1可以支持增強的上下文學習和多圖像推理,使得少數(shù)樣本的思維鏈提示成為可能。

然而,目前MM1的整體性能還沒有完全超過谷歌的Gemini和OpenAI的GPT-4,雖然MM1可能還不是絕對的領(lǐng)導者,但它仍然是蘋果在AI方面的一次重大飛躍。

與此同時,蘋果公司還出手收購了AI初創(chuàng)公司DarwinAI。DarwinAI以創(chuàng)建更小、更快的AI系統(tǒng)見長,這是實現(xiàn)設(shè)備上高效處理的關(guān)鍵因素。收購完成后,DarwinAI的網(wǎng)站和社交媒體賬戶已悄然下線。

據(jù)悉,數(shù)十名DarwinAI員工已經(jīng)加入了蘋果的AI部門,作為交易的一部分,滑鐵盧大學的AI研究員Alexander Wong已加入蘋果,擔任AI團隊的總監(jiān)。

轉(zhuǎn)載來源:財聯(lián)社 作者:牛占林

版權(quán)與免責:以上作品(包括文、圖、音視頻)版權(quán)歸發(fā)布者【牛占林】所有。本App為發(fā)布者提供信息發(fā)布平臺服務,不代表經(jīng)觀的觀點和構(gòu)成投資等建議

熱新聞

電子刊物

點擊進入