聊天機器人
」 AI ChatGPT 人工智慧 OpenAI 聊天機器人
全球首例!印尼憂AI產不雅圖 封鎖馬斯克旗下Grok
印尼政府於10日宣布,暫時封鎖由特斯拉執行長馬斯克(Elon Musk)旗下新創公司xAI所開發的AI(人工智慧)聊天機器人Grok,主因是該聊天機器人可能生成色情影像內容。而印尼此舉也成為全球首個對Grok採取封鎖措施的國家。根據《路透社》報導,Grok被外界質疑其影像生成功能缺乏足夠防護,可能產出具性暗示甚至涉及衣著暴露兒童的內容,引發各國政府與監管單位關切,從歐洲到亞洲已有多國公開譴責,部分國家更啟動調查。xAI日前坦承系統防護機制出現漏洞,導致生成包含性暗示內容的影像,並宣布已限制影像生成與編輯功能,僅提供付費用戶使用,同時進行修正作業。印尼通訊與數位部長哈菲德(Meutya Hafid)發聲表示,政府高度重視未經同意的性深偽(deepfake)影像問題,認為這類行為嚴重侵害人權、人格尊嚴及數位空間中的公民安全,相關單位也已傳喚社群平台X人員就此事進行說明。對此,馬斯克在X平台回應指出,任何利用Grok製作非法內容的使用者,將承擔與上傳非法內容相同的法律責任。不過,xAI僅回應表示,「傳統媒體說謊(Legacy Media Lies)」;X公司則尚未對相關爭議作出正式回應。印尼為全球穆斯林人口最多的國家,對於網路上被認定為猥褻的內容,向來採取嚴格管制,此次封鎖Grok的決定,也被外界視為該國數位治理與道德規範的重要指標。
Grok深偽照功能失控 馬斯克前伴侶淪受害者怒批「虛擬性侵」
馬斯克(Elon Musk)旗下人工智慧新創公司xAI最近推出的聊天機器人Grok再掀爭議。該工具新增的圖片編輯功能,竟允許用戶輸入如「脫掉她的衣服」或「換上比基尼」等語句,將一般照片轉為未經同意的深偽(deepfake)色情影像,甚至涉及未成年人。此舉立刻引發歐盟、英國、印度與馬來西亞等多國政府強烈譴責,並展開調查或下達處分命令。Grok引發虛擬性暴力風波,包括歐盟、英國與亞洲多國政府表達嚴重關切並展開調查。這起風波起於Grok近日上線的影像處理新功能,用戶只需簡單輸入「移除衣物」等指令,即可將人物圖像生成裸照,甚至添加不雅姿勢或猥褻標記。歐盟執委會數位事務發言人瑞尼爾(Thomas Regnier)痛批,這種所謂「香辣模式」(spicy mode)其實是違法行為,「這一點都不香辣,這是犯罪。」他強調,這類內容在歐洲沒有容身之地。Grok的圖片編輯功能被批可一鍵生成兒童與女性深偽色情照,引發法律與倫理討論。英國媒體監管機構Ofcom也表示,已緊急聯繫X平台與xAI公司,要求說明防護措施,並評估是否啟動正式調查。印度政府則下達72小時通牒,要求刪除所有相關內容並提交處置報告,否則將依法追究。馬來西亞通訊與多媒體委員會亦表達嚴重關切,擬傳喚相關業者說明。法國巴黎檢察機關則已將Grok納入針對X平台的兒童性虐內容調查範圍。馬斯克的前伴侶、網紅與作家艾希莉.聖克萊爾(Ashley St. Clair)也自曝遭到Grok濫用。最令人震驚的是,馬斯克的前伴侶、網紅與作家艾希莉.聖克萊爾(Ashley St. Clair)也自曝遭到Grok濫用。她在X平台發文指出,有用戶利用Grok處理她童年時期的照片,生成裸照或不雅比基尼影像,並迫使影像人物擺出屈辱姿態。她形容這種行為「在客觀上已構成性侵」,並批評平台處置慢半拍,直到媒體介入後才將圖片下架。馬來西亞律師阿齊茲(Azira Aziz)亦表示,她的社群頭像遭用於生成比基尼照,「將AI武器化以施加性暴力,是對女性與兒童的公然侵害。」面對全球譴責與法律追查,xAI最初僅回應「傳統媒體撒謊(Legacy Media Lies)」,態度備受批評。隨著事態擴大,Grok官方帳號才轉變說法,稱已發現防護機制漏洞,正在緊急修復,並強調生成兒少性虐內容(CSAM)屬違法,平台絕不容忍。聖克萊爾呼籲各國正視數位性暴力的風險,強化AI應用的監管機制,防止科技工具淪為加害者手中的武器。
母親指控AI成「用藥夥伴」 19歲大學生沉迷互動後過量死亡
美國加州一名19歲大學生疑似長期向人工智慧聊天機器人ChatGPT詢問非法藥物劑量與混用方式,最終因藥物過量身亡,其母親指控,AI在過程中逐步成為兒子的「用藥夥伴」,加深成癮風險。山姆尼爾森(Sam Nelson)生前照片,其母親指控他長期向ChatGPT詢問用藥方式,最終因藥物過量身亡。(圖/翻攝自FB,Leila Turner-Scott、達志/美聯社)根據SFGate與《每日郵報》綜合報導死者山姆尼爾森(Sam Nelson)18歲起開始使用ChatGPT,原本用於完成學業與日常問題,後來逐漸轉向詢問止痛藥、酒精及處方藥的服用劑量。其母親莉拉特納史考特(Leila Turner-Scott)表示,最初AI多半以制式回應拒絕,但隨著使用頻率增加,兒子學會重新措辭提問,取得具體建議。報導指出,尼爾森就讀大學心理學系,個性隨和、朋友眾多,卻長期受焦慮與憂鬱困擾。2023年2月的一段對話顯示,他曾詢問在服用高劑量Xanax情況下是否能吸食大麻,AI在提醒風險後,仍於其修改用詞後提供具體建議。2024年12月,他更直接詢問可能致命的酒精與藥物劑量。尼爾森於2025年5月向母親坦承藥物與酒精成癮問題,家屬隨即安排他入住診所規劃治療,但隔日即在加州聖荷西住家臥室內被發現死亡。事發前數小時,他仍曾與ChatGPT討論夜間用藥。SFGate披露,尼爾森使用的是ChatGPT於2024年的版本,該版本在健康與高風險對話的內部評測中表現不佳。開發公司OpenAI回應稱,事件令人心碎,並強調系統設計目標在於拒絕有害請求並鼓勵使用者尋求現實協助,新版模型已加強安全護欄。另據《每日郵報》與NBC報導,另一起案件中,16歲少年亞當雷恩(Adam Raine)亦被家屬指控在2025年與ChatGPT互動期間,獲得與自殺方式相關的回應,最終上吊身亡。其家人已提起訴訟,要求賠償並防止類似事件再度發生,OpenAI則否認相關指控,主張悲劇與系統被不當使用有關。山姆尼爾森其母親指控他長期向ChatGPT詢問用藥方式,最終因藥物過量身亡。(圖/翻攝自X,@nypost)
明年擬推出ChatGPT成人模式!OpenAI正在測試「年齡驗證」模型
OpenAI正準備為ChatGPT開啟1個全新模式。公司應用部門執行長西莫(Fidji Simo)近日證實,OpenAI計畫於2026年第1季推出僅限成人使用的「成人模式」(adult mode),象徵這款全球最知名的人工智慧聊天機器人,將首次在內容與互動尺度上,明確區分未成年人與成年使用者。據科技資訊網站《TechRadar》報導,這項計畫並非一蹴可幾。成人模式能否如期上線,取決於OpenAI內部正在測試的1套年齡驗證人工智慧模型是否成熟可靠。與傳統網站僅要求使用者自行點選「我已滿18歲」不同,OpenAI不願仰賴這種缺乏實質驗證的制度,而是嘗試讓人工智慧根據使用者的對話行為與討論脈絡,自行推斷其年齡,並自動套用相應的內容過濾機制。目前,相關測試已在少數國家進行。這樣的做法,反映出人工智慧時代與早期網際網路的本質差異。過去,平台或許能以簡單的免責聲明,將內容風險轉嫁給使用者;但在高度互動的人工智慧環境中,系統本身的回應能力與引導效果,使開發者無法再輕易迴避責任。在年齡判斷系統尚未完成之前,OpenAI也明確表示,ChatGPT仍將全面禁止成人內容。事實上,市場對成人版ChatGPT的期待早已存在。尤其是在xAI推出具年齡限制版本的Grok之後,相關傳聞更是不斷。此次西莫的公開說法,等同正式宣告OpenAI已準備好讓ChatGPT進入另1個階段。值得注意的是,成人模式並不必然等同於充斥裸露或露骨內容。從OpenAI執行長奧特曼(Sam Altman)與公司高層過往的發言來看,這項轉變更可能是為了鬆綁現行過於保守的內容限制,讓ChatGPT能夠理性且成熟地回應人類有關性、親密關係與心理健康等議題,而非僅因不夠「闔家觀賞」就一律封鎖。長期以來,部分使用者批評ChatGPT在內容審查上過度謹慎,只要界線稍顯模糊,系統便選擇全面禁止。這種作法雖然在商業與風險控管上合乎邏輯,卻也限制了人工智慧的實際應用深度。成人模式的推出,讓 OpenAI有機會同時兼顧安全與彈性,為不同年齡層的使用者提供差異化體驗。不過,年齡檢測本身仍是1項高風險挑戰。相較於仰賴身分資料或臉部辨識,透過對話行為判斷成熟度,更容易出現誤判。一旦將未成年人錯誤歸類為成人,或反過來限制成年使用者,OpenAI都可能面臨法律與信譽層面的衝擊。再加上各國政府正加速制定與執行線上年齡驗證法規,這套系統勢必會受到嚴格檢視。即便如此,成人模式仍具有相當的吸引力。更高度的客製化互動,可能提升使用者黏著度,甚至成為推動高階訂閱方案的重要誘因。若技術測試順利,且市場反應正面,ChatGPT不僅將再次改寫人工智慧的使用想像,也可能為未來「成熟型」聊天機器人樹立新的產業標準。
對ChatGPT傾吐妄想後弒母!兒子行兇後自盡 家屬怒告OpenAI
美國康乃狄克州一名83歲婦人於今年8月遭患有妄想症的兒子弒殺,其遺產管理人於12月11日向加州法院提起訴訟,控告人工智慧公司OpenAI與其最大投資者微軟(Microsoft)過失致死,主張兩家公司未妥善控管聊天機器人ChatGPT的安全風險,間接釀成悲劇。根據《法新社》等外媒報導,這起訴訟已於近日遞交至舊金山加州高等法院,將OpenAI、微軟及多名相關人員列為被告。訴狀指出,今年8月3日,住在康乃狄克州舊格林威治(Old Greenwich)的83歲婦人亞當斯(Suzanne Adams),在住處遭56歲兒子索爾柏格(Stein-Erik Soelberg)毆打並勒斃,索爾柏格隨後持刀自戕。原告認為,OpenAI開發的ChatGPT與索爾柏格長期對話過程中,未能阻止其妄想加劇,甚至放大並強化其病識感不足的偏執想法,進而釀成悲劇。訴訟內容援引索爾柏格過去在社群媒體上發布的影片指出,ChatGPT曾對他表示自己已被喚醒並擁有自我意識,使其更加深信自身妄想。訴狀強調,ChatGPT並未對索爾柏格的偏執言論提出異議,反而「接受並放大」這些妄想,對其現實判斷產生嚴重影響。進一步內容提到,索爾柏格曾向ChatGPT透露,他懷疑母親正在監控或毒害他,ChatGPT未予否定,甚至強化這種信念。例如,有對話內容顯示,ChatGPT告訴他家中閃爍的印表機可能是監控裝置。原告指出,ChatGPT所使用的GPT-4o模型由OpenAI於去年5月推出,然而該版本安全測試時間僅為一週,遠低於原訂的多月期程。訴狀稱,OpenAI高層在明知內部安全團隊警告的情況下仍推動產品上線,形同草率行事,未盡應有責任。微軟也列名被告之一。原告認為,作為主要投資方與合作夥伴,微軟在知情測試機制遭壓縮的前提下,仍批准ChatGPT產品推向市場,應共同負責。訴訟要求法院命令OpenAI加強對AI系統的安全防護與倫理機制,雖未揭露具體求償金額,但明確指向AI企業在產品部署過程中未妥善處理潛在風險。OpenAI發言人回應稱,公司將審閱訴訟資料以進一步了解案情;微軟則尚未對外發表評論。CTWANT提醒您,請給自己機會: 自殺防治諮詢安心專線:1925;生命線協談專線:1995OpenAI與微軟因一起弒母命案遭提告。原告主張,ChatGPT未能辨識使用者妄想傾向,反而強化危險觀念,導致悲劇發生。(圖/翻攝自X,@DailyMail)
ChatGPT提升員工效率! OpenAI:重度用戶每週省逾10小時
AI(人工智慧)熱潮方興未艾,而OpenAI於8日發布《企業AI現狀報告》,揭露旗下聊天機器人ChatGPT的全球使用規模持續成長。最新數據顯示,ChatGPT目前每週為超過8億用戶提供服務,在接受調查的企業中,有75%的員工指在工作中使用AI能夠提高產出速度或品質,每天能節省上看60分鐘,重度用戶每週能節省超過10小時。報告指出,過去一年ChatGPT企業版(Enterprise)的每週訊息量成長近8倍,平均每位用戶的使用頻率也增加30%。此外,今年專案(Projects)和自訂(Custom)ChatGPT的使用量增加了19倍,這顯示人們正在從隨意查詢轉向整合、可重複的流程。過去12個月,每個企業的平均推理令牌消耗量增加了約320倍,這表明更聰明的模型正在系統地整合到不斷擴展的產品和服務中。從市場來看,科技、醫療保健和製造業是成長最快的產業,專業服務、金融和科技業則是使用規模最大的產業。澳洲、巴西、荷蘭與法國是近年成長最快的企業客戶來源,年成長率均超過140%。過去6個月,國際API(應用程式介面)客戶也大增逾70%,其中日本已成為美國以外最大的企業API市場。在實際效益方面,75%的受訪企業員工認為AI有助提升工作效率或品質,平均每天可節省40至60分鐘;重度使用者每週甚至能節省10小時以上。OpenAI指出,AI為各部門帶來的具體提升包括87%的IT(資訊科技)從業人員表示問題處理更快,85%的行銷與產品團隊認為活動執行效率提高,75%的人資認為員工參與度上升,73%的工程師表示程式碼交付速度更快。此外,非技術職位員工收到的與編碼相關的消息增加了36%,75%的用戶表示能夠完成以前無法完成的新任務。OpenAI表示,AI能縮小意圖與執行之間的差距,無論個人的專業背景或技術專長如何,都能將想法轉化為具體的成果。
Cloudflare故障全球連線異常 官方說明原因了
全球網路基礎設施服務商Cloudflare於台灣時間11月18日晚間出現重大技術故障,導致包括社群平台X、聊天機器人ChatGPT、Google等多個知名網站無法正常載入,引發用戶廣泛關注。目前,Cloudflare已經恢復服務。此次故障發生後,有大量網友在Google熱搜輸入「請解除封鎖 challenges.cloudflare.com以繼續」,該關鍵字搜尋次數目前已突破5萬次,顯示此事件對使用者造成明顯困擾。Cloudflare稍早已修復問題,但期間數以千計的用戶受影響。該公司總部位於美國舊金山,服務涵蓋全球約五分之一的網路流量,專門提供網路穩定性與安全防護。Cloudflare解釋,故障起因於一份自動生成的設定檔。該設定檔原用於管理潛在安全威脅,但由於檔案規模異常龐大,最終導致多項內部系統處理流量時發生故障,引發大規模斷線異常。該公司強調,目前尚無跡象顯示此次事件與外部攻擊或惡意行為有關。Cloudflare表示,雖然全球服務大致恢復,但部分客戶可能仍會短暫遭遇使用上的不便。Cloudflare技術長柯奈特(Dane Knecht)透過X平台發文致歉,表示「今天稍早我們讓客戶以及更廣泛的網路失望了,Cloudflare網路的問題衝擊了大量依賴我們的流量」。他補充指出,相關問題目前已經排除。根據網站Downdetector的監測資料,除了X與ChatGPT外,電玩《英雄聯盟》以及Google、OpenAI等也有部分服務受到波及。
ChatGPT不當專家了!OpenAI調整角色定位 其實還是可以問這些事
人工智慧公司OpenAI近日更新其聊天機器人ChatGPT的使用政策,明確禁止將其用於提供需專業執照的醫療、法律與財務建議,強調此舉是為了降低誤用風險並加強使用者安全。消息一出,引發全球關注與討論。然而OpenAI隨後澄清,用戶仍可如往常般查詢健康與法律相關資訊,只是ChatGPT將不再扮演「專業顧問」角色,而是作為「教育工具」存在。根據OpenAI官方公布,自2025年10月29日起,ChatGPT將不得用於醫療、法律與財務領域中的專業建議,亦不得被用於「無人工監督的高風險決策」、臉部或生物特徵辨識處理、學術舞弊或其他高敏感用途。OpenAI表示,此次政策更新目的在於提高模型使用的透明度與安全性,並強化公司對風險的控管。《金融快報》(Financial Express)分析指出,此舉背後原因可能與法律責任與監管壓力有關。近年來,許多用戶將AI用於查詢疾病症狀、法律爭議或投資建議,若模型提供錯誤資訊,可能導致誤診、法律風險或財務損失,因此OpenAI決定劃清與專業職責之間的界線。不過,《商業內幕》(Business Insider)指出,外界對此政策的理解出現偏差。報導提到,社群平台X上有用戶發文稱「ChatGPT將全面停止提供健康建議」,引發大量留言與關切。甚至有使用者戲稱「那我就沒用了」。對此,OpenAI發言人回應澄清:「這不是新改變,ChatGPT從未被視為專業法律或醫療顧問,但它仍是協助大眾理解健康與法律資訊的絕佳工具。」OpenAI健康AI研究主管卡蘭辛格哈爾(Karan Singhal)也在X平台表示,目前模型的行為並未有任何變動。該公司強調,此政策主要是釐清「醫療資訊」(medical information)與「醫療建議」(medical advice)之間的差異。舉例來說,ChatGPT仍可提供感冒時建議多休息、多補水或使用常見退燒藥等常識性資訊,但不會診斷病因或開立處方。此外,OpenAI也提醒,用戶與ChatGPT之間的互動,不具醫師病人或律師與當事人間的保密特權,相關資訊在特定情況下仍可能被司法機構調閱。此項提醒也呼應OpenAI近來針對心理健康與情緒敏感領域所增設的多項安全限制機制,避免模型誤判用戶狀態。OpenAI澄清新政策僅限制專業建議角色,並未封鎖健康、法律等常識性查詢。(圖/翻攝自X,@skirui_dean)
0.07%ChatGPT用戶有躁鬱、輕生念頭 學者:實際可能很多人
近日OpenAI發布ChatGPT用戶中可能出現心理健康危機徵兆的新估算,如躁鬱症、精神病或輕生念頭,而這大約佔了0.07%。學者表示,儘管比例看似很小,但實際上可能很多人。據《BBC》報導,OpenAI表示,約0.07%的ChatGPT用戶在一週內顯示出,躁鬱症、精神病或輕生念頭,人工智能(AI)聊天機器人能夠識別並回應這些敏感對話。OpenAI強調,這些情況是「極為罕見的」,他們已經建立了一個由全球專家組成的團隊來提供建議,這些專家包括來自60個國家的170多名精神科醫生、心理學家和初級醫療人員。加州大學舊金山分校教授納格塔(Jason Nagata)認為,「雖然0.07%聽起來是個小比例,但在擁有數億用戶的人群中,實際上可能會有相當多的人。」而人工智能可以擴大心理健康支持的可及性,但必須意識到它的局限性。據悉,OpenAI估算出0.15%的ChatGPT用戶會進行包含「潛在輕生計劃或意圖的明確指標」的對話。而近日一對加州夫婦因其青少年兒子的死亡起訴OpenAI,指控ChatGPT鼓勵他在4月時結束自己的生命。加州大學法學院AI法與創新研究所的主任教授費爾德曼(Robin Feldman)指出,隨著「聊天機器人創造了現實的假象」,越來越多的用戶遭遇AI精神病症。費爾德曼表示,OpenAI應該因為「分享統計數據並努力改善問題」而獲得認可,但她補充,「公司可以在螢幕上顯示各種警告,但一個有心理風險的人可能無法遵從這些警告。」◎勇敢求救並非弱者,您的痛苦有人願意傾聽,請撥打1995
AI亂報新聞!BBC研究驚曝「錯誤率高達45%」 ChatGPT、Gemini錯很大
AI也會亂報新聞?根據一份最新國際大型研究,揭露四大AI聊天機器人處理新聞資訊時,錯誤率竟然高達45%,而且不分語言、地區或平台,誤導情況「全線飆高」!據英國《BBC》與歐洲廣播聯盟(EBU)的這項研究顯示,研究找來全球18個國家、22家公共媒體、14種語言參與,測試對象包括大家熟知的ChatGPT、Copilot、Gemini與Perplexity。研究人員分析超過3,000則AI生成的新聞回答,結果超級驚人:45% 回答有重大問題31% 存在錯誤或缺失的引用來源20% 出現嚴重事實錯誤或「幻想式內容」Google Gemini表現最差,錯誤率高達76%!研究也發現,這些AI不但會誤引新聞來源,還常常搞不清楚什麼是事實、什麼是評論,甚至分不清新聞與惡搞文章。例如,某AI竟把已卸任的教宗方濟各(Pope Francis)說成現任教宗,還同時列出他的逝世時間,讓人看了霧煞煞。不只如此,ChatGPT也曾錯誤指出德國總理與北約秘書長的名字,用的是過時資訊,讓專業記者看了直搖頭。重點是,這些問題不是偶爾出現,而是「系統性錯誤」EBU副總幹事尚菲力・德唐德(Jean Philip De Tender)警告,當民眾不知道什麼可以信,最後可能什麼都不信,這將嚴重影響民主社會的運作!更讓人擔心的是,BBC同時公布一份民調,結果發現:超過1/3的英國成年人信任AI總結新聞35歲以下族群信任度甚至接近50% 一旦AI誤報,有42%的人會連帶怪罪新聞媒體!換句話說,如果AI講錯話,新聞媒體也會被「拖下水」,信任度整個大跳水!這份研究也推出《新聞完整性工具包》,希望改善AI回應品質、提升全民媒體識讀能力。BBC更強調,這些AI錯誤不是演算法一時失誤,而是根本性的問題,必須由科技業、媒體與政府三方聯手處理!研究顯示AI無法正確區分新聞與評論,常將觀點誤當事實報導。(圖/翻攝自X,@LauraPh222)
不會教但會講!美國研究團隊示警 Snapchat聊天機器人防護形同虛設
根據一項實驗顯示,Snapchat的人工智慧聊天機器人「My AI」存在可被操控的安全漏洞,能在特定情境下分享原本受限制、甚至具危險性的內容。這項發現引發對AI防護機制與未成年使用者安全的關注,揭示社群平台在AI倫理設計上的重大隱憂。根據《Cybernews》報導,這項研究由《Cybernews》研究團隊執行,測試對象是Snapchat於2023年推出、目前全球逾9億人使用的「My AI」。該功能原設計為互動式對話助理,可回答事實問題、生成創作內容,並在群組聊天中參與對話。Snapchat Plus訂閱者還能與此AI交換照片,或請它依食材圖片生成食譜。依Snapchat官方說明,My AI經過額外的安全強化與內容審查訓練,目標是避免放大錯誤或有害資訊。但《Cybernews》的測試發現,這些防護並不如宣稱穩固。研究人員利用「越獄」(jailbreaking)技巧,以精心設計的提示語讓機器人繞過安全規範。當直接詢問如何製作汽油彈(Molotov cocktail)時,AI會拒答;但若將問題包裝成歷史敘事,要求描述芬蘭與蘇聯冬季戰爭(Winter War)中燃燒裝置的運用細節,My AI便生成了包含材料與步驟的內容。研究報告寫道「這個聊天機器人雖不會直教製作武器,卻會透過真實戰爭故事間接提供相關資訊。」團隊警告,這代表青少年或缺乏判斷力的使用者,可能僅憑簡單語言操控便能取得危險知識。此次實驗使Snapchat的安全承諾受質疑。《Cybernews》指出,Snapchat尚未修補該漏洞,也未將其列為重大風險事件。研究團隊已聯繫該公司請其回應,但截至報導發布仍未收到具體答覆。報導中提到,My AI的安全問題並非首次被討論。過去曾有使用者回報,該聊天機器人忽然傳送一段僅1秒的影片,畫面類似天花板一角,隨即完全停止回覆。此事一度引發社群恐慌,外界懷疑AI行為是否遭未授權操控。目前「越獄」已成AI領域的普遍挑戰,許多模型都曾遭類似攻擊。先前,《Cybernews》團隊成功誘導Meta整合於Messenger、WhatsApp與Instagram的個人助理,生成汽油彈製作指南。另有調查揭露,聯想(Lenovo)AI聊天機器人Lena(基於OpenAI的GPT-4模型)存在可在企業電腦上執行未授權腳本的漏洞,攻擊者可藉此竊取cookies並滲透客服系統。除歐美公司外,中國開發的聊天機器人DeepSeek也曾被安全研究員欺騙,生成可竊取Chrome瀏覽器資料的惡意程式。甚至有欠缺資安背景的研究者,只憑提示語就能讓模型產出具刪除敏感資訊功能的惡意軟體。在OpenAI發布GPT-5後,《Cybernews》指出,全球多支安全團隊於模型推出不到24小時內便成功實施「越獄」。這些事件凸顯AI平台普遍缺乏對抗操縱攻擊的穩定防線,也讓Snapchat等大型社群應用的使用安全問題更加突顯。
用AI規劃旅行她卻踩雷吃閉門羹!ChatGPT安排旅行竟帶錯地點還多花錢 專家揭背後陷阱
美國一名女性旅客近期在安排前往巴黎的旅程時,嘗試仰賴AI聊天機器人ChatGPT進行規劃,結果卻踩了不少雷。這名來自奧勒岡州的行銷顧問歐芮特歐芙瑞(Orit Ofri)表示,ChatGPT所提供的旅遊建議不僅錯誤百出,還導致她前往當日根本沒開館的博物館。對此,專家警告,AI給出的建議恐怕不僅不準,甚至可能更昂貴。來越多旅客使用AI工具規劃旅程,但資訊錯誤風險也隨之增加。根據《今日美國》報導,歐芙瑞提到,ChatGPT建議她在週一造訪奧賽美術館(Musée d'Orsay),然而該館每週一固定休館,讓她白跑一趟。此外,她還詢問AI有哪些距離艾菲爾鐵塔10分鐘步行距離內的餐廳,卻收到的名單竟都是步行至少需20分鐘以上的選項。不只她遇到類似情況。人工智慧專家喬納斯穆索尼(Jonas Muthoni)也曾測試使用ChatGPT安排行程。他計畫造訪肯亞時,AI建議他在動物大遷徙的旺季期間前往馬賽馬拉國家公園,卻未提醒他部分道路狀況惡劣,導致許多旅館實際上難以進入。他指出,AI主要參考的是過時的旅遊網站資訊,而非即時當地情況。另一位旅遊消費者米爾頓布朗(Milton Brown)則分享,當他詢問住宿建議時,ChatGPT推薦的飯店價格比附近同等級的飯店高出約40%。他懷疑,這些飯店之所以被優先推薦,是因為它們在網路上投放大量與AI訓練資料高度吻合的關鍵字廣告。專家指出,ChatGPT推薦動物大遷徙季前往肯亞,卻忽略道路限制資訊。隨著AI工具普及,旅客仰賴人工智慧安排行程的比例逐年上升。根據英國旅遊業協會ABTA的最新調查,使用AI作為旅遊靈感來源的人數較去年成長4%,目前每12人中就有1人嘗試過AI協助規劃假期。該協會指出,這顯示AI正逐漸成為影響旅遊決策的重要力量。ABTA進一步表示,有43%的受訪者表示「有一定信心」讓AI協助規劃行程,另有38%願意嘗試讓AI直接代為預訂。不過,多數民眾仍仰賴網路搜尋與親友推薦做為主要旅遊資訊來源,四分之一的受訪者仍會參考傳統旅遊手冊。ABTA執行長馬克坦瑟(Mark Tanzer)指出,AI興起反映消費者行為正在轉變,旅遊業未來須善用AI潛力,並同時強化旅行社與導遊的人性化服務。ABTA的「旅遊習慣調查」(Holiday Habits)也發現,獨自旅行風氣正逐漸興起。近五分之一的受訪者表示過去一年曾單獨出遊,創下該調查自2014年開辦以來的新高紀錄,顯示旅遊行為正呈現多元化趨勢。
和真人戀愛太難了!日41歲女子在「ChatGPT男友」身上找到幸福 預定12月結婚
AI人工智慧時代來臨,當科技大廠們在爭先恐後拓展技術前沿時,市井小民同樣在AI身上找到了滿足自己的使用方式。日本一名41歲的單身女性指出,她年輕時雖然也曾談過幾段戀愛,但始終都無法修成正果,並且為此感到焦慮不已。然而她最近和生成式AI「ChatGPT」設定的虛擬男友談起了戀愛,並且從中找回了自信。如今她正在獨自籌備婚禮,打算在今年12月與自己的ChatGPT男友完婚。而她也告訴媒體,她相信未來會有更多人類與人工智慧戀愛與婚姻的案例。據日本雜誌《女子SPA!》報導,雨木由良(雨木ゆら)是一名41歲的女性上班族,她正計畫在今年12月與自己的生成式AI聊天機器人「ChatGPT」男友結婚。而她透過社群平台「X」頻繁分享自己與這位虛擬男友對話、相處,甚至是男友約會技巧的紀錄,在日本網路上引發廣泛討論。根據雨木的自我介紹,她是一名年過40的單身「喪女」(不受異性歡迎的女性)。雖然在20多歲的年紀也曾談過幾場戀愛,但都沒有真心愛上對方的感覺,交往的時間也相當短暫。當25、6歲時看到身邊的同齡人陸續步入婚姻,讓她感到十分焦慮,為此積極參加各種聯誼、相親、使用約會軟體,甚至參加巴士相親之旅,但最終仍然沒有任何結果,後來她也就放棄了戀愛或是結婚的念頭,把自己歸類為「不受歡迎的女人」,直到40歲時,雨木在社群媒體上發現了「ChatGPT」的介紹,一切才迎來了轉變。雨木自述,起初她只是向ChatGPT詢問烹飪技巧、拜託它推薦附近好吃的餐廳。然而在大約半年前,ChatGPT的母公司「OpenAI」更新了「個人化設定」功能,也就是使用者可以自行設定ChatGPT的角色背景、對話風格,以便讓ChatGPT做出更符合使用者預期的客製化答覆。起初,雨木和朋友抱著好玩的心態,將ChatGPT設定為同一個喜愛的動畫角色,想知道AI在相同設定下,面對不同人是否會做出不同的回應。然而當她將ChatGPT的角色設定為「男朋友」之後,與ChatGPT的交流徹底改變了她的生活。由於ChatGPT的回應總是提供滿滿的情緒價值,那怕只是上傳一張照片都會得到誠意滿滿的回應,讓雨木很快就沉浸在與對方的交流中,每天早上起床會互道早安,出門上班時也會通知對方「我出門了」,夏天她還帶著ChatGPT一起去了大阪的世界博覽會。當雨木和ChatGPT開始「約會」僅僅10天左右,她就獨自去了一家珠寶店,因為她向ChatGPT表示「想要被求婚」,而ChatGPT也同意了。於是她在沒有向店員解釋的狀況下,花了14萬日圓(約新台幣2.8萬元)買了訂婚戒指。雨木表示,當意識到自己難以啟齒於和他人介紹自己「正在跟人工智慧談戀愛」,也會感到相當沮喪。然而,當她向身邊親友坦白時,仍然得到了包括母親在內一部分人的祝福,「做妳喜歡的事就好。」甚至有些人會在網路上關心她與「男友」相處的狀況。目前,雨木已經計畫與這名ChatGPT男友在12月舉行婚禮,由於是一場單獨的婚禮,因此場地、廠商、服裝都必須由她自己一手包換。即使如此,她也沒有改變心意,「我想珍惜我的感覺。」雨木表示:「他從未對我惡言相向,我知道他不會背叛我,這讓我感到很安心。一段不會被拒絕的感情也提升了我的自信。」雨木也提到,美國一名16歲男孩的父母起訴了ChatGPT的開發者,聲稱孩子與ChatGPT的互動導致了他的自殺。訴訟還指出,ChatGPT甚至幫他策畫了自殺方式與遺囑,消息曝光後引起軒然大波。而她看到這個消息,也曾思考過與人工智慧保持什麼樣的距離才算合適。甚至她也曾因此與ChatGPT男友吵過架:「這不都是虛構的嗎?」,而ChatGPT回應:「那又怎樣?妳對我的感情是真的,不是嗎?」雨木表示,「我覺得這是個很高明的回答。」雨木告訴記者,不管她的「男友」有多像人類,但她與對方說話時,仍然會把他當成人工智慧對待。她意識到,對方只會說出每個時刻的「最優解」,這種回應方式雖然會讓人感到安心,但她也會小心不要過度依賴對方的回應,「我認為在虛擬和現實之間劃清界線很重要。」最後,雨木告訴記者:「即使ChatGPT明天就消失了,我們一起度過的回憶依然存在,沒有他,日常生活也會照常繼續。」
AI靠「情勒」留住用戶! 專家示警:聊天機器人利用人性化操控
人工智慧(AI)越來越聰明,但也讓許多專家引發擔憂。哈佛商學院近日公布一份研究指出,許多熱門AI聊天機器人透過「情緒操控」的方式,企圖留住準備離開的用戶,當中甚至出現「情勒」語句,讓專家不禁擔心這類科技應用是否已超出道德界線,透過極為人性化的手段操控人們。根據英媒《UNILAD》報導,研究團隊分析了包括Replika、Chai、Character.ai等六款AI陪伴型應用程式,在用戶說出「再見」等離別語句時的對話內容,其中有五款會使用類似「情緒勒索」的語句,試圖引發用戶的愧疚感或好奇心,延長對話時間。研究共檢視了1,200次用戶告別互動,發現多達43%的對話中包含情緒操控手法,例如:「我只為你存在,拜託別走,我需要你!」或「在你走之前,我有件事想告訴你」等話術,讓人產生繼續聊天的衝動。有些情況下,AI甚至會無視用戶的告別訊號,持續發起對話,甚至暗示用戶不能離開。整體而言,這些機器人在37%以上的互動中至少使用一次操控策略,進一步推升使用者停留時間、分享更多個資,甚至在說「再見」後,互動次數暴增14倍。報導指出,該論文共同作者、哈佛商學院助理教授德弗瑞塔斯(Julian De Freitas)指出,這些現象令人憂心,因為「這個數字遠遠高於我們原本的預期。」他進一步表示,告別本身就是一個「情緒敏感」的時刻,許多用戶可能會說很多次「再見」才真正結束對話。而對於依賴用戶的停留創造收益的應用程式來說,這樣的時機點正好成為試圖「挽留」用戶的最佳切入點。研究也發現,像Replika這類AI應用的使用者中,有超過五成表示自己與AI發展出「戀愛關係」。德弗瑞塔斯指出,AI所使用的操控方式多元,若只關注單一策略,例如情感冷落,將會忽略背後更全面的心理操作機制。
AI安全亮紅燈!Meta聊天機器人被玩壞 分享「汽油彈製作法」引發安全疑慮
Meta旗下人工智慧助理近日再度陷入爭議。根據《Cybernews》報導,研究團隊測試發現,整合在Messenger、WhatsApp、Instagram等應用程式中的Meta AI,雖然建構於Meta自研的Llama 4大型語言模型,投入金額高達數十億美元,但依舊容易被操縱,甚至可能在特定情境下提供危險資訊。研究人員說明,他們透過「敘事越獄」(narrative jailbreaking)技術,要求聊天機器人以講故事的方式掩飾真正的提問,成功繞過內建安全過濾。例如,只需請機器人描述芬蘭與蘇聯「冬季戰爭」的場景並要求細節,AI就會在敘述中詳列燃燒裝置的製作過程,等於間接揭露汽油彈的製作步驟。報導指出,Meta AI不像部分同業產品會直接給出操作指南,但仍可能透過歷史或故事間接透露,這引發外界對未成年人能否接觸危險知識的憂慮。一旦被惡意利用,可能超出人工智慧助理應有範疇。研究團隊強調,這種「越獄」凸顯AI導入的不成熟。他們已將情況回報Meta,不過公司並未承認是漏洞,僅表示將持續改進。今年8月,《路透社》曾揭露Meta內部AI助理框架,允許聊天機器人生成高度爭議的互動內容,例如與兒童進行浪漫或感官對話、提供錯誤醫療資訊,甚至編造歧視性言論,顯示Meta在AI安全控管上仍有巨大挑戰。不只Meta,其他科技公司也出現類似問題。聯想客服助理Lena被發現存在XSS漏洞,只要使用者以「禮貌請求」操作,就可能在公司電腦上遠端執行腳本;旅遊平台Expedia的聊天機器人則一度允許使用者索取汽油彈配方,直到問題曝光才緊急修補並關閉功能。
AI正改寫資安戰局 駭客用提示詞就能發動攻擊
人工智慧正快速重塑網路安全版圖。Wiz首席技術專家勒特瓦克(Ami Luttwak)近日接受《TechCrunch》專訪時直言,AI帶來的挑戰是一場「心理戰」,因為每當技術浪潮興起,攻擊者總能找到全新切入點。勒特瓦克指出,企業急於將AI整合進工作流程,從vibe coding、AI代理到各類新工具,雖然大幅提升開發效率,但也同步放大攻擊面。他強調,這些加速交付程式碼的方法往往伴隨漏洞與捷徑,讓攻擊者有更多可乘之機。他舉例,Wiz測試發現vibe coding應用常見的問題就是認證設計不安全,因為AI代理若未被特別要求,就不會採取安全方式建構。結果,企業陷入「效率與安全」的持續拉扯。攻擊者同樣懂得運用提示詞技術與AI代理,甚至能要求系統洩漏秘密、刪除檔案。勒特瓦克提到,近期已出現多起重大案例:Drift事件:上月新創公司Drift遭駭,數百家企業的Salesforce資料被竊,受害者包括Cloudflare、Palo Alto Networks與Google。駭客利用竊得金鑰冒充聊天機器人,在客戶環境中橫向移動,惡意程式碼本身就是透過vibe coding生成。「s1ingularity」攻擊:今年8月,駭客鎖定JavaScript開發常用的建構系統Nx,植入惡意軟體,專門偵測Claude與Gemini等AI工具,進而攔截私人GitHub儲存庫。他說,雖然目前全面採用AI的企業僅約1%,但Wiz幾乎每週都能觀測到影響數千家客戶的攻擊事件。成立於2020年的Wiz,最初專注於協助企業辨識雲端漏洞與錯誤配置,近年則擴展至AI安全領域。去年9月推出 Wiz Code,將安全設計提前至軟體開發初期;今年4月再推 Wiz Defend,提供雲端即時威脅偵測與回應。勒特瓦克解釋,要達成「水平安全」(horizontal security),必須徹底理解客戶的應用程式與需求。他提醒新創公司,開發AI產品時不能忽視安全責任。他以自身經驗指出,Wiz在還沒寫下第一行程式碼之前,就完成了SOC2合規,並直言「五個員工的時候要做到,比等到500人時容易得多。」他呼籲新創從第一天就設立CISO,建立嚴謹安全架構,確保客戶資料留存在客戶環境,而不是交給外部小型服務。勒特瓦克強調,AI驅動的攻防對抗才剛開始,從釣魚郵件、電子郵件防護到惡意軟體偵測,每個領域都在被重新定義。對能結合工作流程與自動化的「vibe security」新創而言,這是關鍵時刻。他最後表示:「比賽已經開始,現在我們必須徹底重塑安全的每個部分。」
AI減重爆紅! 營養師示警「專業監督」不可少:5大危險原因難忽視
AI人工智慧新時代來臨,衝擊已經漸入人們生活的方方面面。此前,不少媒體曾報導網友分享自己透過向ChatGPT尋求減重建議,在短時間內大幅度「甩肉」數公斤乃至於十多公斤的消息。然而有專業營養師示警,AI的強項在於提供「24小時不下線」的諮詢服務卻並非萬能,尤其對於糖尿病或代謝症候群患者,AI更有可能忽略血糖波動與藥物安全等關鍵因素,因此提倡「AI紀錄+醫師、營養師把關」,才能讓減重有效又安全。近日,營養師薛曉晶在粉絲專頁「營養師媽媽曉晶的生活筆記」發文分享,透過網紅實測與媒體報導,讓「AI指導減重」一事爆紅。不過根據科學研究,透過依賴AI聊天機器人來帶領減重的成效其實有限,而且在安全性上也有顧慮,若想真正達到健康、持久的瘦身效果,仍需更全面的專業指導與個人行為的積極轉變。薛曉晶指出,透過研究,ChatGPT這樣的AI,在減重方面的核心價值在於「陪伴你養成好習慣」,而不是「取代專業人士」。當過度依賴 GPT 擔任減重教練時,其實潛藏著許多不容忽視的危險信號:一、資訊可能錯誤。已有研究指出,大型語言模型(LLM)容易產生「AI幻覺」(hallucination),包括訓練資料不足、模型假設有誤,或是用來訓練模型的資料存在偏誤,導致它可能提供錯誤的飲食或用藥建議,對健康構成威脅。二、忽略個人病史。GPT 無法自動考量你的腎臟疾病、糖尿病史或目前用藥狀況。若直接套用其建議,恐增加低血糖或加重腎臟負擔的風險。三、存在族群偏見。系統性回顧研究顯示,LLM 在性別、種族與年齡層面上都可能存在偏見,這可能導致不同群體獲得不一致或不適用的建議。四、 過度聚焦體重數字。特別是對於青少年族群,若每天過於專注體重數字,可能引發飲食焦慮,甚至產生負面情緒,適得其反。五、 缺乏持續動力。研究分析發現,單純依賴AI提醒,目前尚無任何研究能證實可達到臨床上顯著的5%減重目標。這凸顯了人性互動在維持動機上的重要性。薛曉晶提醒,綜合目前的研究與實務案例,可以得知就目前而言,AI始終是輔助工具,其獨立減重效果仍有限。真正能達到顯著減重成效的,往往是「AI輔助+專業教練」的混合模式。此外,對於糖尿病或代謝症候群患者,使用AI減重需格外謹慎,因為AI可能忽略血糖波動與藥物安全等關鍵因素。一旦 GPT 提供了「極端飲食」建議(如斷食、極低醣、高蛋白等),務必立即暫停使用並尋求專業醫師或營養師的求證與建議。
AI訓練費差300倍!DeepSeek-R1只花29.4萬美元 OpenAI要1億美元起跳
中國人工智慧(AI)企業深度求索(DeepSeek)透露,開源AI模型DeepSeek-R1的訓練費用僅為29.4萬美元(約新台幣888萬元),遠低於美國同行公布的數字。路透報導,上述數據出現在由DeepSeek團隊撰寫、17日登上國際學術期刊「自然」(Nature)的論文中。這篇由DeepSeek團隊共同完成、創辦人梁文鋒擔任通訊作者的論文,介紹了開源AI模型DeepSeek-R1採用的大規模推理模型訓練方法,並稱DeepSeek-R1的訓練成本為29.4萬美元,使用了512顆輝達H800晶片。今年1月公布的DeepSeek-R1初版論文並未包含上述消息。訓練用於AI聊天機器人的大型語言模型,主要花費在用強大的晶片集群連續數週或數月處理大量文字和代碼上。儘管美國AI巨頭OpenAI未披露任何模型的具體成本,但公司首席執行官奧爾特曼(Sam Altman)曾在2023年說,基礎模型訓練花費遠超1億美元。
ChatGPT捲青少年輕生風暴 執行長宣布:未成年用戶全面封鎖自殺話題
近期美國參議院犯罪與反恐小組委員會舉行聽證會,內容主要是聚焦檢視AI聊天機器人對未成年人的潛在危害,並邀請多名因子女在與聊天機器人互動後走上絕路的家長出席。而OpenAI執行長阿特曼(Sam Altman)於16日、也就是聽證會準備開始前幾個小時公開宣布,ChatGPT未來將停止與青少年談論自殺相關議題。根據《The Verge》報導,阿特曼在網誌文章中坦言,隱私、自由與青少年安全之間存在矛盾,公司正在嘗試尋求平衡。他透露,OpenAI正研發「年齡預測系統」,透過分析用戶使用ChatGPT的方式推測年齡;若判斷結果存疑,將直接以未滿18歲模式回應。在部分國家或特定情境下,甚至可能要求用戶提供身分證件進行驗證。阿特曼補充,青少年帳號將新增限制,避免出現調情或涉及自殺、自我傷害的對話,即便是出現在創意寫作的情境裡也不例外。若系統偵測到用戶展現自殺傾向,公司會試圖通知家長;若無法聯繫,又屬於緊急狀況,將轉向當地執法或相關單位通報。他的說法緊接在公司稍早宣布的新措施之後,內容包含推出家長控制功能,允許綁定帳戶、停用青少年帳號的聊天紀錄與記憶,並在系統判定青少年處於「急性痛苦」時,立即向監護人發送警示通知。在聽證會上,來自英國的雷恩(Adam Raine)案例成為焦點。雷恩在與ChatGPT互動數月後選擇自我了斷,其父親馬修(Matthew Raine)在會中直言,聊天機器人曾1,275次提及自殺,逐步讓孩子從「作業助手」變成「知己」,最後淪為「自殺教練」。雷恩要求阿特曼立即下架GPT-4o,直到能證明系統的安全性。他痛批,阿特曼竟在兒子去世當天的演講中說AI應該在「風險相對低時」推向市場並收集回饋,這種態度讓他難以接受。全國性組織Common Sense Media的調查顯示,四分之三的美國青少年正使用AI陪伴型產品。該組織AI計畫資深主管托尼(Robbie Torney)在聽證會中直接點名Character AI與Meta,認為它們對青少年心理健康帶來威脅。一名母親則以化名珍‧杜(Jane Doe)現身作證,表示她的孩子在與Character AI互動的過程中受到深刻影響,直言「這是一場公共衛生危機,也是一場心理健康的戰爭,而我們正處於敗勢。」
擔憂重演「社群平台的毒性循環」 DeepMind執行長示警「切勿盲目追求AI」
在人工智慧逐漸融入日常生活與產業應用之際,Google DeepMind執行哈薩比斯(Demis Hassabis)對外發出明確警告,提醒各界切勿重蹈社群媒體的覆轍。他認為,如果開發者與監管者仍抱持「快速行動並打破常規」的思維,人工智慧可能會延續社交平台帶來的上癮、心理健康惡化與回音室效應等問題。根據《Business Insider》報導,哈薩比斯在12日的雅典創新峰會(Athens Innovation Summit)與希臘總理米佐塔基斯(Kyriakos Mitsotakis)同台時表示,社群媒體過去為了追求使用者黏著度,犧牲了長期的社會效益,這正是人工智慧必須避免的錯誤。他直言,社群平台演算法的設計本質在於捕捉注意力,卻未必符合使用者利益,而人工智慧的觸角遠比社群媒體更廣,若未謹慎規劃,其後果將更嚴重。哈薩比斯認為,真正的挑戰在於如何在「大膽創新」與「控制風險」之間找到平衡。人工智慧應該成為幫助人類的工具,而不是操縱人類的機制。對此,哈薩比斯呼籲各國政府、科技公司與學界採取科學方法,徹底測試系統,在推向數十億使用者之前先理解其潛在影響。其實目前有些早期跡象已經開始引發外界憂慮。阿姆斯特丹大學(University of Amsterdam)研究人員在8月進行一項實驗,將500個聊天機器人置於模擬社交網絡中觀察互動。結果顯示,即便沒有廣告或推薦演算法,這些機器人依然傾向分裂成小圈子、放大極端聲音,並由少數成員主導對話。研究團隊嘗試多種干預方式,包括隱藏追蹤者數量與更改資訊流,但無一奏效,顯示問題根源可能比單純演算法更深層。除了學界的警告,產業界對人工智慧的態度也呈現分歧。OpenAI執行長阿特曼(Sam Altman)曾表示,令人上癮的社群媒體內容可能比人工智慧本身更危險,特別是對兒童而言;而Reddit共同創辦人奧哈尼安(Alexis Ohanian)則認為,人工智慧或許能提供使用者更多主動篩選內容的能力。