APMIC
」
平價AI大爆發2／美股上演DeepSeek雲霄飛車 台灣科技人蛇年春節狂加班
蛇年農曆春節期間，大陸新創公司DeepSeek號稱以低價完成的AI模型，引發市場轟動，美股那斯達克指數瞬間蒸發近1兆美元市值，不少台灣科技人也忙了起來，找資訊、讀論文，探討DeepSeek能否用在自家產品線上，畢竟原本在大語言模型領域最強的OpenAI，已被笑稱是CloseAI，不但封閉、且以英文思考為主。「自DeepSeek R1發佈以來，很快的AWS、Azure等都開始主持R1變體」 Google大腦之父、AI科學家吳恩達在臉書上說，「什麼是『最好的模型』定義，正在頻繁變化，開發者經常想嘗試新的模型。」「這對台灣來說就是一顆原子彈，是台灣幾十年難得一見的戰略機會，這不只是技術專案，更是文化與價值工程。」MeetAndy AI共同創辦人薛良斌說，台灣目前幾款繁中版大型語言模型，主要以Meta釋出的Llama模型為基礎訓練，但Llama相對來說不夠聰明，DeepSeek R1開源模型可下載後開發，論文也有記錄訓練過程，讓其他人了解其運作方式。耐能Kneron執行長劉峻誠說，AI的黃金時代要來了。（圖／陳曼儂攝）整個春節假期都因DeepSeek，而在辦公室加班的耐能執行長劉峻誠告訴CTWANT記者，「這是一個黃金時代的來臨。」自家的模型已透過DeepSeek R1論文中提到的前沿訓練技巧，升級而有了「思維鏈推理」和「自我反思」的能力。劉峻誠表示，在DeepSeek的方法論支持下，未來大、中、小企業推出的大語言模型能力差異將變得很小，技術開源後，專精型的模型將會百花齊放，「可能幾天就多四、五百個」，特別是台灣有龐大的製造業，可以按照模式，用很低的成本去做專屬自己公司的AI，「在台灣的產業界絕對是一個很好的加分項」。像是在醫療行業，耐能的AI助手可在問卷填寫中進行推理，根據患者的回答動態調整問題，分析可能的健康風險，提高診斷效率。也可做金融衍生品定價，涉及複雜數學計算和市場分析，傳統的AI只能提供簡單的報表分析，這次進化後，可直接找出資料中的異常。比亞迪用DeepSeek來提升車輛的AI能力。（圖／新華社）特別是在中國大陸，在官方的支持下，已從地方政府、國有企業、醫院等，都有採用DeepSeek模型的案例，像是長春市吉林大學醫院已推出一套診斷工具，以DeepSeek產生醫療計畫；武漢、成都、杭州等許多醫院都提到，會用DeepSeek作醫療參考，或是向病人解釋複雜的醫療報告。在汽車行業，比亞迪等20多家企業已宣佈在車載系統中加入DeepSeek產品。MeetAndy AI創辦人薛良斌、Taiwan LLM開發者林彥廷與Ubitus執行長郭榮昌，也在2月7日發起「台灣製造」的大型語言模型計畫FreeSEED，打算以DeepSeek R1為基礎，重新訓練、打造一個符合台灣需求的大型語言模型，並以開源授權釋出模型權重，預計在3月底釋出第一版預覽的推理模型，不到一周已募得1千萬元，APMIC創辦人吳柏翰表示，大型推理模型將會是今年主流，目前在數學領域最佳的Thinking Tokens是4000到8000 Tokens，而簡單推理確認是在4096 Tokens就可以，做單一垂直的微調能縮小到1K的資料，所以訓練時間可從700小時變成7小時，今年會是地端市場爆發準備期，雲端廠商可以跟地端廠商合作。
老黃簡報提3次提「他」 APMIC帶AI解決方案反攻美國市場
今年台北國際電腦展COMPUTEX掀起AI教父、輝達（NVIDIA）執行長黃仁勳炫風，他在演講簡報提及的台灣公司股票都大漲一波，有一家軟體公司的名稱出現三次，那就是主打企業自主AI解決方案的台灣新創公司APMIC。APMIC創辦人暨執行長吳柏翰27日表示，旗下的大型語言模型「CaiGunn開講」將引進北美市場，讓企業擁有能力打造自己的AI大腦、人人輕鬆參與AI時代，協助全球企業邁向AI轉型。「CaiGunn開講」，名稱取自台語「聊天」發音，是APMIC團隊打造的在地化大型語言模型與平台框架。吳柏翰介紹，企業人員只要將現有的文章、網站或是文件資料上傳，不需寫任何程式，就能打造出地端的企業AI大腦，不上傳到雲端，所以不怕機密洩漏，每個員工都能一鍵套用、用對話的方式使用AI工具。「CaiGunn開講」已獲得Google、台北市政府、NEC、台塑生醫、中國信託銀行及亞太電信等800多家橫跨健康、製造、金融、航空、零售等產業採用，為企業服務效率提升超過30%，也是2023年全台唯一上榜全球知名開源語言模型平台Hugging Face百大排名的模型。輝達也在27日宣布推出四款全新NVIDIA NIM微服務，讓開發人員能輕鬆建置與部署高效能的生成式AI應用，針對地區需求量身打造，在台灣使用Llama 3-Taiwan 70B NIM微服務，可降低生產環境中運行模型的總成本，並減少延遲。輝達新聞稿提到，像是長庚醫院正在以此建置該院專屬的AI推論服務，集中管理醫院體系內的所有LLM應用；和碩用來開發內外部的應用，將這款微服務與旗下的AI系統整合，提升製造與營運效率。其他包括長春集團、欣興電子，媒體公司，以及線上合約服務公司律果科技與新創公司APMIC等都有在開放模型上進行合作。數據顯示，目前企業做AI生成，用小模型加上RAG準確率只能達到83.9%，若想更精準，就必須花更多的錢、買更大的設備與模型，但APMIC的技術就是用他們「微調」，使用輝達H100的顯卡，達到H200擁有的90%以上的精準度。吳柏翰表示，今年他到美國參加輝達的GTC大會時，發現美國雖然AI發展得早，但缺乏相關的框架業者，而他們已能跟輝達生態圈合作打團體戰，包括硬體、軟體與系統整合等廠商，進軍美國市場。