財經
熱線

開發生成式AI不掉隊 蘋果將推300億參數多模態大模型MM1

蘋果近期正在全面轉向投入生成式AI領域,並且很快有了新動作。(圖/報系資料照)

相較於輝達、微軟等大型科技股,蘋果今年的表現令投資人失望,股價年內跌逾10%,且失去了全球市值最高公司的寶座。原因是蘋果已在這場人工智慧(AI)競賽中落伍,為擺脫窘境,蘋果近期放棄造車項目,正在全面轉向生成式AI領域,並且很快有了新動作。

蘋果公司研發團隊近日發佈了一篇論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公佈了多模態大模型MM1,展示了該公司在AI方面的進展與實力。據悉,MM1最高參數量為300億,該模型支持增強的上下文學習和多圖像推理,在一些多模態基準測試中有較好表現。

研究人員使用這些模型進行實驗,找出影響大模型表現的關鍵因素。有趣的是,圖像分辨率和圖像標籤數量比視覺語言連接器的影響更大,不同的預訓練數據集會顯著影響模型的有效性。

MM1的獨特之處在於其龐大的規模和架構創新,包括密集的模型和混合專家模型。這些模型證明了研究人員方法的有效性,將大規模預訓練與戰略性數據選擇相結合,以增強模型的學習能力。

研發團隊稱,MM1不僅在預訓練指標中是最先進的,並且在一系列已建立的多模態基準測試中,經過微調後也保有競爭力,可以支持增強的上下文學習和多圖像推理,使得少數樣本的思維鏈提示成為可能。然而,目前MM1的整體性能還沒有完全超過谷歌的Gemini和OpenAI的GPT-4,雖然還不是絕對的領導者,但它仍然是蘋果在AI方面的一次重大飛躍。