加速晶片
」 AI
輝達斥資200億美元！收購AI新創「Groq」資產
美國私募股權與風險投資公司「Disruptive」執行長戴維斯（Alex Davis）表示，輝達（NVIDIA）已同意以現金200億美元（約合新台幣6,288億元）收購高效能人工智慧加速晶片設計公司「Groq」的相關資產。Disruptive主導了該新創公司今年9月的最新1輪融資。據《CNBC》報導，戴維斯指出，他的公司自2016年Groq成立以來，已在該公司投資超過5億美元，而這筆交易是在相當短的時間內敲定的。3個月前，Groq完成7.5億美元的募資，估值約為69億美元。該輪投資者包括貝萊德（BlackRock）與路博邁集團（Neuberger Berman），以及三星（Samsung）、思科（Cisco）、投資公司「Altimeter」與創投公司「1789 Capital」，其中美國總統長子小唐納川普（Donald Trump Jr.）為「1789 Capital」的合夥人之一。Groq於24日在官方部落格中表示，公司已「與輝達就Groq的人工智慧推論技術（inference technology）達成1項非獨家授權協議」，但未揭露交易價格。部落格文章續稱，隨著這項交易，Groq創辦人暨執行長羅斯（Jonathan Ross）、公司總裁馬德拉（Sunny Madra）以及其他高階主管，將「加入輝達，協助推進並擴展獲授權的技術。」Groq還補充，公司將持續以「獨立公司」身分運作，並由財務長愛德華茲（Simon Edwards）出任執行長。對此，輝達財務長克雷斯（Colette Kress）拒絕對這筆交易發表評論。戴維斯向《CNBC》表示，輝達將取得Groq的所有資產，但其尚在起步階段的Groq Cloud雲端業務並不包含在交易之中。Groq則表示，「GroqCloud將持續不中斷地運作。」這筆交易是輝達迄今規模最大的收購案。該晶片製造商過去最大的1筆併購發生在2019年，當時以接近70億美元的價格收購以色列晶片設計公司邁絡思（Mellanox）。截至10月底，輝達的現金與短期投資總額為606億美元，較2023年初的133億美元大幅增加。根據《CNBC》取得的1封寄給員工的內部電子郵件，輝達執行長黃仁勳表示，這項協議將擴展輝達的能力。他在信中寫道：「我們計畫將Groq的低延遲處理器整合進『NVIDIA AI工廠架構』（NVIDIA AI factory architecture），進一步延伸平台能力，以服務更廣泛的AI推論與即時工作負載。」黃仁勳補充：「儘管我們將延攬優秀的人才加入輝達，並授權使用Groq的智慧財產，但我們並未收購Groq這家公司本身。」輝達曾在今年9月策劃過1項類似但規模較小的交易。當時，該公司斥資超過9億美元，聘用AI硬體新創「Enfabrica」的執行長桑卡爾（Rochan Sankar）及其他員工，並授權使用該公司的技術。過去幾年，包括Meta、Google與微軟（Microsoft）在內的其他科技巨頭，也透過各種形式的授權交易，大舉投入資金以延攬頂尖AI人才。隨著手中現金水位快速上升，輝達近來大幅增加對晶片新創與整體生態系的投資。該公司已投資AI與能源基礎設施公司「Crusoe」、AI模型開發商「Cohere」，並在以AI為核心的雲端服務商「CoreWeave」準備今年上市之際，加碼對其投資。今年9月，輝達表示有意向OpenAI投資高達1,000億美元，而該新創公司則承諾至少部署10吉瓦的輝達產品。雙方至今尚未宣布正式協議。同1個月，輝達也宣布，將在合作關係下向英特爾（Intel）投資50億美元。在AI加速晶片需求激增的背景下，Groq今年的營收目標為5億美元，這類晶片可用於加速大型語言模型完成推論相關任務。戴維斯表示，當輝達接觸Groq時，該公司並未尋求出售。報導補充，Groq成立於2016年，由一群前工程師創立，其中包括羅斯。他曾是Google張量處理單元（tensor processing unit，TPU）的創造者之一。TPU是這家搜尋巨頭所開發的客製化晶片，目前被部分公司視為輝達圖形處理器（graphics processing units，GPU）的替代方案。在2016年底向美國證券交易委員會（SEC）提交的初始文件中，Groq宣布完成1,030萬美元的募資，並列出羅斯與懷特曼（Douglas Wightman）為公司負責人。據悉，懷特曼是1名企業家，曾任職於Google X實驗室的「登月工廠」（moonshot factory）。根據其LinkedIn資料，懷特曼已於2019年離開Groq。Groq並非唯一在AI浪潮中嶄露頭角的晶片新創。AI晶片製造商「Cerebras Systems」原本計畫於今年上市，但在10月宣布完成超過10億美元募資後，撤回了首次公開募股（IPO）的申請。在向SEC提交的文件中，Cerebras表示「目前不打算進行該項公開發行」，但未說明原因。該公司發言人當時向《CNBC》表示，仍希望能儘快完成上市。Cerebras於2024年底申請IPO，當時正加速布局，試圖在為生成式AI模型打造處理器的市場上，與輝達正面競爭。
IC設計新兵擷發科首秀平台 「壓榨1顆晶片跑出10個AI模型」
「我們是可以把一顆聯發科（2454）的晶片，壓榨到能跑出10個AI模型的公司。」專注於AI與ASIC晶片設計服務的擷發科技（7796）董事長楊健盟表示，從創立第一天起，就以ASIC設計服務為核心，提供客製化晶片解決方案，預計未來3到5年，邊緣式AI在相關的硬體都會有蓬勃的發展。台北國際電腦展COMPUTEX將於下周登場，廠商們都摩拳擦掌、陸續曝光自家最新技術，擷發科技在13日發表CAPS「跨平台AI軟體服務」與CATS「客製化ASIC設計服務」雙引擎最新成果，以及自主研發的全新AI視覺軟體平台AIVO，定位為零程式碼（No-code），採用直觀、圖形化的操作界面，可透過簡單的「拖拉式組合」完成AI模型訓練、流程設計與即時部署。擷發科技技術長吳展良表示，就像是「你買我這個平台，你就會做AI設計了」，雖然AI已經談了很久，但真正要落地實施，中間有很多工具鏈斷層，需要專業的人去處理，而擷發科技做好整合後，目前AI可以做的，包括物件檢測、人員辨識、安全防護等，都可以輕鬆客製化，且可同時支援非常多的腳本，不同節點去連結、權重分配去優化，讓百工百業都可利用這個平台去發展自家的AI系統，有效降低AI導入門檻。擷發科技副總經理王俊凱表示，目前邊緣AI市場中，客戶有不少痛點，造成上市時間變得很長，以視覺來說，從資料集的標記訓練，過去工具鏈很破碎，客戶需要切換多套工具，大多數人缺乏機器學習的專業知識，很多都需要手動調教，雖然很多開源程式可以用，但都需要專業的人去處理，一般業者也缺乏數據和標註的基礎設施，最後做完了，還會被廠商綁住，很難選用別家系統。而擷發科技可以從資料集標記、模型訓練、量化、最佳化、SoC集成一路做好，AI加速器也有很多選擇，可以跨平台，根據客戶需求選擇加速器，可應用在智慧製造、醫療、交通、零售等核心場域。楊健盟表示，很多人認為IC設計公司都能做ASIC設計服務，但這其實是一個需要長期技術積累與經驗沉澱的領域，擷發科技在這條路上蹲馬步蹲了很久。擷發科技也宣布與歐洲AI加速晶片新創公司Axelera AI成為戰略合作夥伴，共同推動AI技術的全球多元場景應用落地。
美中貿易戰陸廠抱團取暖 集邦：自製高階晶片發展仍受限
美中貿易戰持續升級，美國不准多國的高科技產品與設備出口到中國大陸，特別是半導體與現在最流行的AI人工智慧等相關領域，中國的科技公司近來擴大投資自製。調研機構集邦科技(TrendForce)最新報告表示，華為旗下海思投入AI晶片自主化研發，推出新一代AI晶片昇騰（Ascend）910B，自產自銷也出售給其他中國業者，但效能沒有輝達（Nvidia）的A800好、軟體生態系統不同，加上產能不足、生產設備也可能受限於後續的禁令，預期中國若要建立完整的AI生態系，仍有很大的空間待突破。集邦表示， 對華為而言，昇騰除用於自家公有雲基礎設施，也能出售給其他中國業者，像是百度今年即向華為訂購逾千顆昇騰910B晶片，用以建置約200台AI伺服器；科大訊飛今年8月也與華為對外共同發表搭載昇騰910B AI加速晶片的「星火一體機」，適用於企業專屬LLM（Large Language Model）的軟硬體整合型設備。TrendForce推論，新一代AI晶片昇騰910B應是由中芯國際（SMIC）的N+2製程所打造，但生產過程可能面臨兩個風險。第一是中芯國際的N+2製程產能幾乎用於給華為手機產品，未來雖有擴產規劃，但其AI晶片所需產能可能受到手機或其他資料中心業務（如鯤鵬CPU）所排擠。第二是中芯國際仍在實體清單之列，未來先進製程設備取得仍將受到限制。目前市場分析昇騰910B效能也略遜於A800系列，軟體生態也與NVIDIA CUDA存在很大的差距，故採用昇騰910B的使用效率尚不及A800，但考量美國禁令可能擴大的風險，而促使中國廠商轉往採購部分昇騰910B。但整體來看，中國若要建立完整的AI生態系仍有很大的空間待突破。目前中國的科技公司以百度和阿里巴巴最積極投入自研ASIC加速晶片，百度在2020年初即發展其自研ASIC崑崙芯一代，第二代於2021年量產，第三代則預計於2024年上市。據TrendForce調查相關供應鏈，2023年後百度為建置其文心一言及相關AI訓練等基礎設施，將同步採購如華為的昇騰910B加速晶片，並擴大採用崑崙芯加速晶片用於自家AI基礎設施。阿里在2018年4月全資收購中國CPU IP供應商中天微之後，同年9月成立平頭哥半導體（T-Head），並自研ASIC AI晶片含光800。據TrendForce了解，旗下T-Head原第一代ASIC晶片還得仰賴外部業者如GUC共同設計，2023年後該公司將轉而較仰賴自身企業內部資源，強化新一代ASIC晶片自主設計能力，主應用於自家阿里雲AI基礎設施。
集邦看好今明兩年 AI伺服器出貨成長皆逾37%
全球市場研究機構集邦科技(TrendForce)17日針對明年的科技產業發展做重點整理，可看出AI產業一片欣欣向榮，包括伺服器、高頻寬記憶體、加速晶片等會迎來喜訊，像是今年AI的伺服器（包含搭載GPU、FPGA、ASIC等）出貨量逾120萬台，年增高達37.7%，而預計明年將再成長逾38%。集邦科技表示，CSP（雲端服務供應商）業者如Microsoft、Google、AWS等近期都在加大AI投資力道，推升AI伺服器需求上揚，估算2023年AI伺服器出貨量逾120萬台，年增37.7%，占整體伺服器出貨量達9%，2024年將再成長逾38%，AI伺服器占比將逾12%。除了NVIDIA與AMD的GPU解決方案外，大型CSP業者也擴大自研ASIC晶片將成趨勢，Google自2023年下半加速自研TPU導入AI伺服器，年成長將逾7成，2024年AWS亦將擴大採用自研ASIC，出貨量有望翻倍成長，其他如Microsoft、Meta等亦規劃擴展自研計畫，GPU部分成長潛力恐受到侵蝕。預計在2024年後，將延伸至更多應用領域業者投入專業AI模型及軟體服務開發，帶動搭載中低階GPU（如L40S等系列）等邊緣AI Server成長，預期2023到2026年邊緣AI伺服器出貨平均年成長率將逾兩成。AI伺服器也帶動了AI加速晶片需求，其中高頻寬記憶體（HBM）為加速晶片上的關鍵性DRAM產品。以規格而言，除了現有的市場主流HBM2e外，今年HBM3的需求比重亦隨著NVIDIA H100/H800以及AMD MI300系列的量產而提升。展望2024年，三大記憶體廠商將進一步推出新一代高頻寬記憶體HBM3e，一舉將速度提升至8Gbps，提供2024到2025年新款AI加速晶片更高的性能表現。AI加速晶片市場除了Server GPU龍頭廠商NVIDIA、AMD外，CSP業者也加速開發自研AI晶片的腳步，產品共通點為皆搭載HBM。伴隨訓練模型與應用的複雜性增加，預期將帶動HBM需求大幅成長。HBM相比其他DRAM產品的平均單位售價高出數倍，預期2024年將對記憶體原廠的營收將有顯著挹注，預估2024年HBM營收年增長率將達172%。
AI伺服器需求強 研調：2024年先進封裝產能增4成
研調機構TrendForce觀察AI應用帶動AI伺服器成長熱潮，對高階AI晶片及HBM（高頻寬記憶體）強烈需求、台積電2023年底CoWoS月產能有望達12K，NVIDIA在A100及H100等相關AI Server需求帶動下，對CoWoS產能較年初需求量，估提升近5成，加上AMD、Google等高階AI晶片需求成長下，將使下半年CoWoS產能吃緊，至2024年先進封裝產能將再成長3～4成。2023年由ChatBOT等生成式AI應用帶動AI伺服器成長熱潮，又以大型雲端業者最積極投入，包含Microsoft、Google、AWS或其他中系業者如Baidu、ByteDance等陸續採購高階AI伺服器，以持續訓練及優化AI分析模型。TrendForce指出，為提升整體AI伺服器的系統運算效能，以及記憶體傳輸頻寬等，NVIDIA、AMD、Intel等高階AI晶片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper晶片中，單顆晶片HBM搭載容量再提升20%，達96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高階MI300X則達192GB，提升了50%。同時預期Google將於2023年下半年積極擴大與Broadcom合作開發AISC AI加速晶片TPU亦採搭載HBM記憶體，以擴建AI基礎設施。TrendForce指出，在AI較急促需求下，無論是HBM或CoWoS生產過程中，得後續觀察周邊配套措施，例如直通矽晶穿孔封裝技術（TSV）、中介層電路板（Interposer）以及相關設備（如濕製程設備）等是否能到位，如前置時間（Lead Time）等考量。而在AI強勁需求持續下，估NVIDIA針對CoWoS相關製程，亦不排除將評估其他類似先進封裝外援，例如Amkor或Samsung等，以因應可能供不應求的情形。