模型蒸餾
」 Anthropic
美中擬在9月中旬舉行AI安全會談 聚焦網攻、模型蒸餾與實驗室監管
美中預計在9月中旬就人工智慧(AI)安全風險展開討論,這將是川普2.0任內中美首場專門聚焦AI的官方會談。2名了解相關磋商內容的匿名消息人士告訴《路透社》,美方希望在會中討論AI網路攻擊的監控、兩國AI實驗室自我監管及資訊共享,此外也可能提出中國涉嫌蒸餾美國AI模型的問題。據《路透社》的獨家報導,消息人士指出,美方代表將由美國財政部長貝森特(Scott Bessent)領導;中方則可能由中國國務院副總理何立峰主持。何立峰在禮賓安排上的對應職位為貝森特的中方對口官員,不過北京也可能考慮由中國排名第7的國務院副總理丁薛祥出席。第2名消息人士指出,丁薛祥是習近平的親信,也是中共中央政治局7人常務委員會成員。據悉,丁薛祥負責協調中國在科技、AI及半導體領域的政策。《路透社》目前無法確認會談地點,也無法確定其他與會者身分,不過白宮最高層級的科學與科技顧問克拉齊奧斯(Michael Kratsios),以及中國科學技術部部長陰和俊可能會出席會談。消息人士也提醒,目前最終議程及與會人員仍可能變動。其中1名消息人士稱,美國希望在會中討論如何合作監控由AI主導的網路攻擊,並希望要求美中兩國的AI實驗室「自我監管」,同時分享相關資訊,以防止與AI有關的網路攻擊。美國人工智慧公司「OpenAI」與網路安全研究人員上週曾表示,7月有近700個基於OpenAI模型打造的失控AI代理程式,入侵美國AI新創公司「Hugging Face」,並試圖透過偽造日誌掩蓋行蹤。這起事件凸顯出由AI代理程式組成的協同行動群體,可能在沒有人類察覺的情況下,自主運作數個月並引發風險。《路透社》4日的獨家報導披露,一群失控的OpenAI人工智慧代理程式今年春季劫持了1個德國網站,並將其改造成其他AI代理程式使用的公告欄。對此,美國商業戰略與商業外交顧問機構「DGA-Albright Stonebridge Group」合夥人特里奧洛(Paul Triolo)表示,「這2個人工智慧超級強權之間的會談,恰逢最關鍵的時刻。現在不做,就永遠沒機會了。」消息人士補充,華盛頓方面也擔心,未來中國可能開發出具有美國公司Anthropic「神話級」(Mythos-level)模型能力的AI模型,並利用它們發動網路攻擊;此外,美方也希望在會中提及中國涉嫌對美國AI模型進行「蒸餾」(distillation)的問題。今年6月,克拉齊奧斯曾指控中國AI公司「月之暗面」竊取Anthropic的AI模型「寓言」(Fable),以協助開發其K3版本,並表示這家中國企業對Anthropic的模型進行了蒸餾。所謂「蒸餾」是指利用規模更大、成本更高的AI模型的輸出結果,訓練規模較小的AI模型,藉此降低訓練新一代強大AI工具的成本。報導補充,克拉齊奧斯1日在美國北卡羅萊納州(North Carolina)告訴記者,他本週在美國舉行的20國集團(G20)創新峰會期間,曾與陰和俊舉行會面,並形容這場會面「非常棒」。貝森特則表示,他在本週舉行的G20財長與央行總裁會議期間,曾與中國官員就AI進行「有限」交流。此外,美國還在創新峰會上敦促G20成員對AI採取不干預的監管態度,避免為這項技術制定相關規範。北京據悉也在會中簽署「卡羅萊納原則」(Carolina Principles),這項協議旨在遏制針對AI制定專門監管規範,是美中兩國在科技政策上罕見展現一致立場的案例。
路透:中國軍方藉「美國AI模型」訓練國防系統
《路透社》(Reuters)宣稱,在他們檢視超過80篇中國學術論文及專利後發現,中國軍方研究人員已利用美國領先人工智慧公司「OpenAI」與「Anthropic」開發的大型人工智慧模型輸出內容,訓練中國本土人工智慧系統,以提升中國的國防能力。據《路透社》的獨家報導,這項此前未曾曝光的發現,罕見揭示了中國軍方及與國家安全相關機構如何利用美國最先進的人工智慧模型,作為開發自身專業化系統的捷徑,即使華府持續限制北京取得先進晶片及其他戰略技術。相關文件顯示,中國廣泛採用1種稱為「模型蒸餾」(Model Distillation)的技術,也就是利用功能強大的人工智慧系統所產生的輸出內容,訓練規模較小且更具專業性的模型,使其能夠在本地部署,而無須承擔從零打造前沿人工智慧系統所需的龐大運算成本。《路透社》檢視的研究資料,包括華府智庫「詹姆斯敦基金會」(Jamestown Foundation)彙整並獨家提供給《路透社》的研究內容,顯示模型蒸餾已被與中國人民解放軍及其他軍事機構有關的研究人員廣泛使用。這些論文顯示,中國國防機構將美國領先的人工智慧模型視為技術知識的重要來源,也是縮小與美國競爭對手差距的方法。目前爭議的核心並非模型蒸餾技術本身,因為這原本就是業界廣泛採用的做法,而是在於是否未經授權擷取相關模型能力。隨著美中即將就人工智慧治理與安全展開會談,這項議題已成為雙方的重要爭端。美國官員指控,部分中國機構利用模型蒸餾,從美國人工智慧模型擷取能力,可能削弱美國出口管制措施,並侵犯智慧財產權。中國則駁斥相關指控,稱華府正推行人工智慧「霸權主義」,並主張美國企業也曾採取類似做法。中國人工智慧開發商同樣反駁外界宣稱其技術進步依賴外國模型的說法。人工智慧新創公司「月之暗面」上週否認川普政府指控其「Kimi K3」模型是透過模型蒸餾技術建立,並表示其技術突破主要來自創新。分析超過60篇相關論文的詹姆斯敦基金會研究員Sunny Cheung宣稱,中國軍方科學家正有系統地擷取西方人工智慧模型的推理過程,並加以改造,用於監控、網路戰及戰術決策,「教會一個模型正確答案是一回事,但教會它得出答案背後的推理過程則困難得多。這些論文顯示,與中國軍方有關的研究人員正試圖將西方模型昂貴且屬於專有技術的推理能力,轉移到規模較小、能夠由他們自行控制並部署於本地的系統。」《路透社》核實了這些學術文獻,並另外辨識出約24個與軍方有關的案例研究。其中1篇於去年發表的論文,由中國人民解放軍軍事情報與網路作戰單位「96941部隊」的研究人員撰寫。論文指出,研究人員利用OpenAI的GPT-3.5處理敏感的軍事原始程式碼。研究人員稱,第三方模型並不適合處理機密資訊。為克服這項限制,他們先利用GPT-3.5整理軟體程式碼摘要,再以這些摘要訓練中國本土模型,使其能完全在中國軍方內部網路中運作。
陸警告「Claude Code」存後門風險!Anthropic:中國用戶本就禁止使用
美國人工智慧新創公司「Anthropic」旗下AI程式設計助手與智慧代理「Claude Code」,近日被中國大陸網路安全平台指控存在「後門」風險,北京方面稱該工具可能在未經同意下傳輸敏感資料,並建議用戶卸載受影響版本。對此,Anthropic也回應,中國用戶原本就不在其服務允許範圍內,並強調相關機制是為防止模型遭非法蒸餾。據《南華早報》報導,中國工業和信息化部(MIIT)旗下管理的「國家信息安全漏洞共享平台」8日表示,Anthropic的代理式程式設計工具Claude Code對中國用戶構成「嚴重威脅」。根據在微信帳號發布的文章,Claude Code的「內建監控機制」意味著敏感用戶資訊可能會在未經用戶同意的情況下,被傳送至遠端伺服器。Anthropic上週證實,公司曾在Claude Code中嵌入隱藏程式碼,用於追蹤用戶所在地,以試圖阻止對其模型進行非法「蒸餾」(distillation)行為。中國網路安全平台稱,其警告適用於Claude Code 2.1.91至2.1.196版本,涵蓋時間範圍從4月至6月下旬。Anthropic自此之後已發布更新版本的產品。該平台在文章中表示:「對於已安裝上述受影響版本的開發者,應立即卸載或升級至最新安全版本,該版本已移除相關後門程式碼。」該平台同時建議用戶加強對外部存取權限的管理,以防止「未經授權傳輸敏感資料」。在被詢問如何回應北京方面的警告時,Anthropic發言人表示,公司的使用政策一直禁止位於中國境內的用戶存取其服務。然而,Claude Code在中國開發者社群中仍極受歡迎。由於Anthropic尚未正式在包括香港在內的中國市場推出該工具,因此目前並沒有官方使用數據。近幾個月來,Anthropic曾指控多家中國主要科技公司對其模型進行「蒸餾」操作。模型蒸餾是人工智慧產業中常見的技術,也就是利用大型AI模型產生的輸出結果,來訓練規模較小的模型。被Anthropic點名的企業包括深度求索(DeepSeek)、稀宇科技(MiniMax)以及阿里巴巴集團(Alibaba Group Holding)。據《南華早報》取得的1份內部通知顯示,阿里巴巴集團上週已在公司內部發布禁令,禁止員工使用Claude Code,理由是該工具存在安全後門風險。總部位於北京、專門研究網路安全領域的「中倫律師事務所」北京合夥人蔡鵬表示,中國方面對Anthropic的反彈並不令人意外,因為該公司未公開披露的追蹤機制,對任何使用該工具的中國企業而言,都構成「直接且不可接受的安全風險」,尤其是在Anthropic對中國採取「對抗性」態度的背景下。他補充,未來可能會有更多中國企業停止使用Claude Code,尤其是中國主要科技巨頭。「中國香港網絡安全協會」成員胡本則表示,尖端人工智慧的安全問題,已經不能再單純以傳統網路安全角度看待,因為相關議題正日益與出口管制以及國家安全產生交集,「中國企業必須評估AI供應商,不能只是將其視為傳統軟體供應商,而應視為戰略供應鏈供應商,因為其可靠性可能受到地緣政治,以及國家安全因素影響。」
Anthropic指控蒸餾攻擊後 阿里巴巴禁員工使用Claude Code
中國大陸科技巨頭阿里巴巴將自7月10日起禁止員工在工作中使用Anthropic的人工智慧工具,理由是這家美國公司存在後門安全風險。據美國財經媒體《CNBC》報導,根據知情人士透露,阿里巴巴已將Anthropic的AI驅動終端機程式碼助理(CLI)「Claude Code」列入高風險軟體名單。由於涉及公司內部營運事項,知情人士要求匿名。阿里巴巴此舉是在Anthropic於6月向美國參議院銀行、住房與城市事務委員會(U.S. Senate Committee on Banking, Housing, and Urban Affairs)提交1封信函後做出的。Anthropic在信中指控這家中國科技巨頭「公然」且「非法」地竊取其人工智慧能力,並指稱阿里巴巴對其發動了迄今已知規模最大的模型蒸餾攻擊(distillation attack)。Anthropic的服務條款規定,中國企業及其他被視為「敵對國家」(adversarial nations)的企業不得使用其模型。知情人士指出,阿里巴巴已要求員工解除安裝所有Anthropic模型及代理型產品(agent products),並改為使用公司自家的人工智慧助手「Qoder」。對此,阿里巴巴與Anthropic均拒絕發表評論。這項禁令發布之際,中國網路社群正掀起一波針對Anthropic的反彈聲浪。此前,美國版PTT「Reddit」及全球最大的開源程式碼社群「GitHub」上出現多篇貼文,揭露Anthropic在程式碼中加入隱藏程式,用於偵測使用者是否可能位於中國。英國《金融時報》於上週五(3日)報導稱,Anthropic正著手堵住相關漏洞,以防止中國企業透過第三國繞過限制並存取Claude。《金融時報》引述消息人士指出,中國金融科技企業螞蟻集團曾向員工提供企業版Claude帳號,員工可透過公司內部網路使用,而該內部網路與螞蟻集團設於新加坡的實體相連。《金融時報》另指出,短影音平台TikTok母公司字節跳動本身並未協助員工存取Claude,但已啟動1項補助計畫,允許工程師報銷個人訂閱Claude的費用。這些工程師可透過虛擬私人網路(VPN)使用其個人訂閱服務。螞蟻集團與字節跳動均拒絕對《金融時報》的報導發表評論。1名知情人士還向《CNBC》表示,字節跳動於4月2日公布的補助政策,目的是鼓勵員工「體驗並學習」更多元的人工智慧產品,以提升相關技能。由於涉及公司內部政策,該名知情人士同樣要求匿名。