相較于英偉達、微軟等大型科技股,蘋果今年的表現(xiàn)令人失望不已,股價年內(nèi)跌逾10%,且失去了“全球市值最高公司”的寶座。
背后原因很簡單,蘋果在這場人工智能(AI)競賽中落伍了。為了擺脫窘境,蘋果近期放棄了造車項目,正在全面轉(zhuǎn)向生成式AI領(lǐng)域,并且很快有了新動作。
就在近日,蘋果公司研發(fā)團隊發(fā)布了一篇論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公布了多模態(tài)大模型MM1,展示了該公司在AI方面的進展與實力。
據(jù)悉,MM1最高參數(shù)量為300億,該模型支持增強的上下文學習和多圖像推理,在一些多模態(tài)基準測試中有較好表現(xiàn)。
研究人員使用這些模型進行實驗,找出影響大模型表現(xiàn)的關(guān)鍵因素。有趣的是,圖像分辨率和圖像標簽數(shù)量比視覺語言連接器的影響更大,不同的預訓練數(shù)據(jù)集會顯著影響模型的有效性。
MM1的獨特之處在于其龐大的規(guī)模和架構(gòu)創(chuàng)新,包括密集的模型和混合專家模型。這些模型證明了研究人員方法的有效性,將大規(guī)模預訓練與戰(zhàn)略性數(shù)據(jù)選擇相結(jié)合,以增強模型的學習能力。
研發(fā)團隊稱,MM1不僅在預訓練指標中是“最先進的”,并且在一系列已建立的多模態(tài)基準測試中,經(jīng)過微調(diào)后也保持了“有競爭力的”性能。
MM1可以支持增強的上下文學習和多圖像推理,使得少數(shù)樣本的思維鏈提示成為可能。
然而,目前MM1的整體性能還沒有完全超過谷歌的Gemini和OpenAI的GPT-4,雖然MM1可能還不是絕對的領(lǐng)導者,但它仍然是蘋果在AI方面的一次重大飛躍。
與此同時,蘋果公司還出手收購了AI初創(chuàng)公司DarwinAI。DarwinAI以創(chuàng)建更小、更快的AI系統(tǒng)見長,這是實現(xiàn)設(shè)備上高效處理的關(guān)鍵因素。收購完成后,DarwinAI的網(wǎng)站和社交媒體賬戶已悄然下線。
據(jù)悉,數(shù)十名DarwinAI員工已經(jīng)加入了蘋果的AI部門,作為交易的一部分,滑鐵盧大學的AI研究員Alexander Wong已加入蘋果,擔任AI團隊的總監(jiān)。
轉(zhuǎn)載來源:財聯(lián)社 作者:牛占林