Cerebr...
」 人工智慧
不滿意輝達晶片？《路透》：OpenAI正在尋求替代供應商
8名知情人士指出，OpenAI對輝達（NVIDIA）部分最新人工智慧晶片並不滿意，並且自去年起已開始尋求替代方案，特別聚焦高SRAM整合架構，以提升ChatGPT與Codex等產品回應效率。雙方原定的千億美元投資案也因產品路線調整而延宕，期間OpenAI接觸Cerebras與Groq等業者，輝達則迅速授權Groq技術鞏固版圖。據《路透社》（Reuters）報導，OpenAI策略轉向的細節首度曝光，焦點在於其日益重視用於執行特定人工智慧推論（inference）任務的晶片。所謂推論，是指人工智慧模型（例如支撐ChatGPT應用程式的模型）在回應使用者問題與請求時所進行的運算過程。輝達在大型人工智慧模型訓練晶片領域仍具主導地位，而推論則已成為新的競爭戰場。OpenAI及其他公司在推論晶片市場尋求替代方案，對輝達在人工智慧領域的主導地位構成重大考驗，而此時雙方也正處於投資談判之中。去年9月，輝達表示有意向OpenAI投資高達1,000億美元，該交易將使晶片製造商取得這家新創公司的股份，同時為OpenAI提供購買先進晶片所需的資金。《路透社》當時報導，該交易原預計數週內完成，然而談判卻拖延數月。在此期間，OpenAI與超微（AMD）等公司達成協議，採購可與輝達競爭的圖形處理器（GPU）。不過，1名知情人士指出，OpenAI產品路線圖的轉變，也改變了其所需的運算資源種類，進而使與輝達的談判陷入僵局。1月31日，輝達執行長黃仁勳淡化有關與OpenAI關係緊張的報導，稱相關說法「荒謬」，並表示輝達計畫對OpenAI進行大規模投資。輝達在聲明中表示：「客戶持續選擇NVIDIA用於推論，因為我們在大規模部署下提供最佳效能與總體擁有成本。」OpenAI發言人則在另1份聲明中指出，公司在其推論算力部署中絕大多數仍依賴輝達，且輝達在推論運算方面提供最佳的性價比。7名消息人士表示，OpenAI對於輝達硬體在處理某些特定問題時為ChatGPT使用者生成答案的速度並不滿意，例如軟體開發與人工智慧與其他軟體互動等場景。其中1名人士告訴《路透社》，OpenAI需要新硬體，未來可滿足其約10%的推論運算需求。2名消息人士指出，ChatGPT開發商曾討論與新創公司Cerebras與Groq合作，為更快速的推論提供晶片。但其中1名人士表示，輝達與Groq達成了1項價值200億美元的技術授權協議，使OpenAI與Groq的談判告終。晶片業高層指出，輝達迅速與Groq達成協議，似乎意在強化自身技術組合，以在快速變動的人工智慧產業中維持競爭力。輝達則表示，Groq的智慧財產權與其產品路線圖高度互補。在全球人工智慧爆炸性成長的過程中，輝達的圖形處理晶片非常適合用於訓練像ChatGPT這類大型人工智慧模型所需的大規模數據運算。然而，人工智慧的發展重心正逐漸轉向利用已訓練完成的模型進行推論與推理，這可能是人工智慧的新一階段，也促使OpenAI積極布局。自去年以來，OpenAI尋找GPU替代方案的重點在於那些在單一矽晶片上嵌入大量「靜態隨機存取記憶體」（SRAM）的公司。將盡可能多的昂貴SRAM壓縮至單一晶片，可為聊天機器人及其他人工智慧系統在處理數百萬用戶請求時帶來速度優勢。推論所需記憶體往往高於訓練，因為晶片在推論過程中需要花更多時間從記憶體中提取資料，而非單純進行數學運算。輝達與超微的GPU技術依賴外部記憶體，這會增加處理時間並降低使用者與聊天機器人互動的速度。其中1名消息人士補充，在OpenAI內部，這個問題在其程式碼生成產品Codex上尤為明顯。OpenAI近來積極行銷Codex，但部分員工將其弱點歸因於基於輝達GPU的硬體架構。1月30日與記者的電話會議中，執行長奧特曼（Sam Altman）表示，使用OpenAI程式碼模型的客戶「會對編碼工作的速度給予高度溢價」。他補充，OpenAI近期與Cerebras達成的協議，正是滿足此需求的方式之一，但對於一般ChatGPT使用者而言，速度並非同樣迫切。競爭產品如Anthropic PBC的「Claude」與Google的「Gemini」，則更多依賴Google自製晶片「張量處理單元」（Tensor Processing Units, TPUs）部署。TPU專為推論所需運算設計，相較於通用型人工智慧晶片（如輝達設計的GPU）可能具有效能優勢。知情人士指出，當OpenAI表達對輝達技術的保留態度後，輝達曾接觸包括Cerebras與Groq在內、專攻高SRAM晶片的公司，討論潛在收購。不過Cerebras拒絕收購提議，並於上月宣布與OpenAI達成商業合作。而Groq則曾與OpenAI洽談提供運算能力的協議，並吸引投資人有意以約140億美元估值為其募資。然而到了12月，消息人士表示，輝達以非獨家、全現金方式取得Groq技術授權。儘管該協議允許其他公司授權Groq技術，但在輝達挖角Groq晶片設計師後，Groq目前重心轉向銷售雲端軟體服務。
輝達斥資200億美元！收購AI新創「Groq」資產
美國私募股權與風險投資公司「Disruptive」執行長戴維斯（Alex Davis）表示，輝達（NVIDIA）已同意以現金200億美元（約合新台幣6,288億元）收購高效能人工智慧加速晶片設計公司「Groq」的相關資產。Disruptive主導了該新創公司今年9月的最新1輪融資。據《CNBC》報導，戴維斯指出，他的公司自2016年Groq成立以來，已在該公司投資超過5億美元，而這筆交易是在相當短的時間內敲定的。3個月前，Groq完成7.5億美元的募資，估值約為69億美元。該輪投資者包括貝萊德（BlackRock）與路博邁集團（Neuberger Berman），以及三星（Samsung）、思科（Cisco）、投資公司「Altimeter」與創投公司「1789 Capital」，其中美國總統長子小唐納川普（Donald Trump Jr.）為「1789 Capital」的合夥人之一。Groq於24日在官方部落格中表示，公司已「與輝達就Groq的人工智慧推論技術（inference technology）達成1項非獨家授權協議」，但未揭露交易價格。部落格文章續稱，隨著這項交易，Groq創辦人暨執行長羅斯（Jonathan Ross）、公司總裁馬德拉（Sunny Madra）以及其他高階主管，將「加入輝達，協助推進並擴展獲授權的技術。」Groq還補充，公司將持續以「獨立公司」身分運作，並由財務長愛德華茲（Simon Edwards）出任執行長。對此，輝達財務長克雷斯（Colette Kress）拒絕對這筆交易發表評論。戴維斯向《CNBC》表示，輝達將取得Groq的所有資產，但其尚在起步階段的Groq Cloud雲端業務並不包含在交易之中。Groq則表示，「GroqCloud將持續不中斷地運作。」這筆交易是輝達迄今規模最大的收購案。該晶片製造商過去最大的1筆併購發生在2019年，當時以接近70億美元的價格收購以色列晶片設計公司邁絡思（Mellanox）。截至10月底，輝達的現金與短期投資總額為606億美元，較2023年初的133億美元大幅增加。根據《CNBC》取得的1封寄給員工的內部電子郵件，輝達執行長黃仁勳表示，這項協議將擴展輝達的能力。他在信中寫道：「我們計畫將Groq的低延遲處理器整合進『NVIDIA AI工廠架構』（NVIDIA AI factory architecture），進一步延伸平台能力，以服務更廣泛的AI推論與即時工作負載。」黃仁勳補充：「儘管我們將延攬優秀的人才加入輝達，並授權使用Groq的智慧財產，但我們並未收購Groq這家公司本身。」輝達曾在今年9月策劃過1項類似但規模較小的交易。當時，該公司斥資超過9億美元，聘用AI硬體新創「Enfabrica」的執行長桑卡爾（Rochan Sankar）及其他員工，並授權使用該公司的技術。過去幾年，包括Meta、Google與微軟（Microsoft）在內的其他科技巨頭，也透過各種形式的授權交易，大舉投入資金以延攬頂尖AI人才。隨著手中現金水位快速上升，輝達近來大幅增加對晶片新創與整體生態系的投資。該公司已投資AI與能源基礎設施公司「Crusoe」、AI模型開發商「Cohere」，並在以AI為核心的雲端服務商「CoreWeave」準備今年上市之際，加碼對其投資。今年9月，輝達表示有意向OpenAI投資高達1,000億美元，而該新創公司則承諾至少部署10吉瓦的輝達產品。雙方至今尚未宣布正式協議。同1個月，輝達也宣布，將在合作關係下向英特爾（Intel）投資50億美元。在AI加速晶片需求激增的背景下，Groq今年的營收目標為5億美元，這類晶片可用於加速大型語言模型完成推論相關任務。戴維斯表示，當輝達接觸Groq時，該公司並未尋求出售。報導補充，Groq成立於2016年，由一群前工程師創立，其中包括羅斯。他曾是Google張量處理單元（tensor processing unit，TPU）的創造者之一。TPU是這家搜尋巨頭所開發的客製化晶片，目前被部分公司視為輝達圖形處理器（graphics processing units，GPU）的替代方案。在2016年底向美國證券交易委員會（SEC）提交的初始文件中，Groq宣布完成1,030萬美元的募資，並列出羅斯與懷特曼（Douglas Wightman）為公司負責人。據悉，懷特曼是1名企業家，曾任職於Google X實驗室的「登月工廠」（moonshot factory）。根據其LinkedIn資料，懷特曼已於2019年離開Groq。Groq並非唯一在AI浪潮中嶄露頭角的晶片新創。AI晶片製造商「Cerebras Systems」原本計畫於今年上市，但在10月宣布完成超過10億美元募資後，撤回了首次公開募股（IPO）的申請。在向SEC提交的文件中，Cerebras表示「目前不打算進行該項公開發行」，但未說明原因。該公司發言人當時向《CNBC》表示，仍希望能儘快完成上市。Cerebras於2024年底申請IPO，當時正加速布局，試圖在為生成式AI模型打造處理器的市場上，與輝達正面競爭。
打臉川普 分析師：沒有台積電「這些廠商」沒有今天
美國大選將至，共和黨參選人川普屢屢劍指台灣議題發表看法，他高聲批判台灣搶走美國的晶片生意，甚至要對台灣晶片課關稅，引發市場震撼。知名分析師奈斯泰德（Dan Nystedt）在社群平台X上連發17篇文挺台，他認為如果沒有台灣，輝達、博通、超微、高通及邁威爾的總市值不會達到4.8兆美元。奈斯泰德表示，台灣不僅沒有搶走美國的晶片生意，其實是幫助美國企業壯大成為科技巨頭，替美國半導體產業創造數兆美元的價值，更別說早期是台灣將美國半導體從日本手中拯救出來。人工智慧熱潮在全球爆發，奈斯泰德表示，包括Cerebras Systems、TensTorrent及SambaNova等新創公司，以及亞馬遜、Google、Meta、微軟或特斯拉巨頭，這些企業的人工智慧晶片都是委由台積電代工，顯示台積電的影響力。奈斯泰德強調，美國雖失去半導體製造的優勢，但美國應該感謝台灣與韓國，幫助半導體產業茁壯，尤其美國在晶片設計領域是全球第一，擁有上千家的IC設計公司，他們皆仰賴台積電與或其他代工廠生產半導體。奈斯泰德也說明，台積電是在張忠謀首創的晶圓代工模式下崛起，專職晶圓製造，提升生產技術與品質，也沒有設計遭竊的風險，獲得IC設計客戶高度信任。
未來AI發展是否順利 富比世：要看「這地」是否安全
隨著ChatGPT、Midjourney等AI人工智慧的服務問世，在全球掀起一股AI的熱潮，不少專家都相當期待未來人工智慧的發展。但外媒報導指出，未來人工智慧的發展很有可能會被台海安危所牽引，因為台灣的台積電所生產的高階半導體晶片，將會左右AI人工智慧的發展。根據《富比世》報導指出，人工智慧（AI）專欄作家陶斯（Rob Toews）撰文，指稱台積電有能力製造AI領域所需要的高階晶片，客戶涵蓋範圍包含了Nvidia，其圖形處理器（GPU）大宗為台積電所生產，另外還包含了Google、AMD、亞馬遜、微軟、Cerebras、SambaNova、Untether等AI領域的大廠。文章中指出，如果缺乏這些高階晶片，想要發展AI人工智慧幾乎是不可能的事情。從幾年前風靡全球的AlphaGo，到現在的AI算圖Midjourney、AI聊天機器人ChatGPT，這背後都需要仰賴最底層的神經網絡架構（neural networks），而台積電所生產的高階晶片，就是支撐著神經網路架構的重要元素。Nvidia的執行長黃仁勳也曾用生動的方式來強調台積電對AI人工智慧發展的重要性「基本上是空氣，和台積電」。但報導中也提到，近年中國已經在台海周邊展開強度空前的軍事演習，華盛頓的許多決策者預測，中國將在2027年甚至2025年入侵台灣。而台海之間發生嚴重衝突的話，勢必會影響到台積電的產能，如果情況嚴峻的話，中國入侵台灣一事很有可能直接癱瘓全球AI人工智慧的生態系統。文章中也提到「簡單來說，整個人工智能領域都面臨著台灣極其不穩定的單點故障問題。在當今圍繞AI的所有熱情中，這件事情並未得到足夠廣泛的認知」。報導中也提到，除了台積電有能力生產高階晶片外，南韓的三星也是全球為二可以生產3奈米晶片的公司，但是晶片良率遠低於台積電，只有10至20%的良率，而台積電則有高達80%的良率。即便如此，三星所在的南韓也太過接近中國與北韓，地理位置也十分危險。