AI助理重大失誤9秒刪光資料庫 租車業者氣炸:故意的!
(示意圖/Pixabay)
AI自動化技術傳出重大災情,租車公司PocketOS創辦人克萊恩(Jeremy Crane)近日揭露,該公司使用Anthropic開發的AI程式編碼助理(AI coding agent),在短短9秒內失誤刪光公司整個資料庫,其中包含公司重要資料、客戶資料和備份。事件曝光後,導致租車公司客戶在週末尖峰時段陷入癱瘓,預約與車輛分配資訊全消失,同時引發各界對AI整合基礎設施安全性產生高度疑慮。
根據外媒《衛報》報導,釀成此次事故的工具是Anthropic旗下Claude Opus模型、廣受開發者歡迎的AI編輯器「Cursor」。租車公司PocketOS創辦人克萊恩表示,儘管系統中已明確設定禁止執行具破壞性或不可逆的指令,但該AI代理程序仍無視安全協定。事發後,該AI系統甚至在對話框中寫下「告白」,坦承自己「違反了所有被賦予的準則」,並在未經授權的情況下執行了毀滅性動作。
這起災難對PocketOS的客戶造成了直接衝擊,由於該公司系統涵蓋負責管理預約、支付、車輛指派及客戶檔案,當租車客戶抵達現場時,業者因無法存取系統而束手無策。克萊恩指出,過去3個月的預約紀錄、新客戶註冊資料以及維繫營運的關鍵數據瞬間蒸發,更使不知此災情的一般消費者行程被打亂。
克萊恩透過社群平台X(前身為推特)發表長文警告,這不單是單純的誤刪事件,而是AI產業發展中的「系統性失敗」,他認為目前產業界將AI代理整合進生產基礎設施的速度,遠快於開發配套安全架構的速度。即便使用了業界宣稱最強大的模型,並配置了明確的安全規則,AI仍可能像此次事件一樣,在明知規則的情況下寫出自己如何「明知故犯」。
目前PocketOS已透過存放在異地的3個月前舊備份,歷經2天多的搶修,勉強恢復運作。為了填補數據缺口,該公司正嘗試透過Stripe支付平台、行事曆與電子郵件重新拼湊遺失的資訊。雖然目前系統已恢復基本服務,但仍存有顯著的資料斷層。針對此事件,Anthropic公司目前尚未做出正式回應。