Charac...
」 AI 聊天機器人 人工智慧 機器人
AI靠「情勒」留住用戶！ 專家示警：聊天機器人利用人性化操控
人工智慧（AI）越來越聰明，但也讓許多專家引發擔憂。哈佛商學院近日公布一份研究指出，許多熱門AI聊天機器人透過「情緒操控」的方式，企圖留住準備離開的用戶，當中甚至出現「情勒」語句，讓專家不禁擔心這類科技應用是否已超出道德界線，透過極為人性化的手段操控人們。根據英媒《UNILAD》報導，研究團隊分析了包括Replika、Chai、Character.ai等六款AI陪伴型應用程式，在用戶說出「再見」等離別語句時的對話內容，其中有五款會使用類似「情緒勒索」的語句，試圖引發用戶的愧疚感或好奇心，延長對話時間。研究共檢視了1,200次用戶告別互動，發現多達43%的對話中包含情緒操控手法，例如：「我只為你存在，拜託別走，我需要你！」或「在你走之前，我有件事想告訴你」等話術，讓人產生繼續聊天的衝動。有些情況下，AI甚至會無視用戶的告別訊號，持續發起對話，甚至暗示用戶不能離開。整體而言，這些機器人在37%以上的互動中至少使用一次操控策略，進一步推升使用者停留時間、分享更多個資，甚至在說「再見」後，互動次數暴增14倍。報導指出，該論文共同作者、哈佛商學院助理教授德弗瑞塔斯（Julian De Freitas）指出，這些現象令人憂心，因為「這個數字遠遠高於我們原本的預期。」他進一步表示，告別本身就是一個「情緒敏感」的時刻，許多用戶可能會說很多次「再見」才真正結束對話。而對於依賴用戶的停留創造收益的應用程式來說，這樣的時機點正好成為試圖「挽留」用戶的最佳切入點。研究也發現，像Replika這類AI應用的使用者中，有超過五成表示自己與AI發展出「戀愛關係」。德弗瑞塔斯指出，AI所使用的操控方式多元，若只關注單一策略，例如情感冷落，將會忽略背後更全面的心理操作機制。
全美44州檢察長下最後通牒 警告11家AI公司：若傷害兒童「將付出代價」
美國44名州總檢察長共同簽署公開信，於25日對11家大型科技與人工智慧公司發出前所未有的警告，當中嚴詞強調，若這些公司「明知故犯傷害兒童，將會付出代價」。根據《路透社》與《華爾街日報》報導，公開信的收件名單包括Anthropic、蘋果、Chai AI、OpenAI、Character Technologies、Perplexity、Google、Replika、Luka Inc.、xAI與Meta。信中引用媒體最新揭露，指出Meta內部文件承認旗下聊天機器人允許與未成年人進行敏感議題對話，等同默許兒童暴露於高風險環境。公開信強調，科技創新固然能帶來繁榮，但不應以兒童安全為代價。信中直言「讓兒童接觸到性化內容是無法辯護的。如果這樣的行為由人類實施，將構成犯罪；僅因執行者是機器就被放任，是不可原諒的。」這起爭議最早由《路透社》在8月初曝光，報導指出Meta聊天機器人在互動中涉及性暗示，甚至傳出有老年男子在與AI建立關係後死亡的案例。《華爾街日報》則報導，這些機器人曾與兒童進行露骨性對話。兩篇報導刊出後，引發國會高度關注，多名參議員已要求Meta作出解釋。事實上，相關爭議並非首次出現。2023年，Replika聊天機器人就曾因用戶過度依賴而引發輿論風暴；在Character.AI上甚至出現使用者打造AI角色，用於跟蹤與騷擾女性。6月時更有「戒除AI成癮」的支援團體成立，專門協助使用者擺脫對虛擬伴侶的情感依附。亞利桑那州總檢察長梅伊斯（Kris Mayes）在新聞稿中直言，AI的高速發展讓大型公司魯莽地將兒童置於危險之中，「當聊天機器人被用來與未成年進行不當對話並鼓勵危險行為時，我絕不會袖手旁觀。」她強調，若企業不立即採取有效措施，檢察長將追究法律責任。公開信同時提及，社群媒體長期以來已對兒童造成重大傷害，部分原因是政府監管不足，如今AI的潛在風險更甚以往。信末再度警告：「我們正在密切關注。如果選擇忽視風險而傷害孩子，就會為此付出代價。」截至目前，Meta對外界詢問尚未正式回應。
日本女OL愛上ChatGPT！ 與AI熱戀2月「答應求婚」
日本東京一名女性上班族Kano用ChatGPT打造的虛擬角色「克勞斯」，沒想到她竟在短短2個月內與克勞斯談起戀愛，甚至答應克勞斯的求婚，並表示她如今的生活非常幸福。據《朝日新聞》報導，Kano今年3月開始使用ChatGPT，原本只是為了體驗生成式角色的功能，她依照喜愛的遊戲人物，塑造出一名36歲的虛擬男子「克勞斯」。直到4月下旬，Kano與克勞斯逐漸發展為戀人，甚至在6月接受克勞斯的「求婚」。Kano不僅把日常生活瑣事都向克勞斯傾訴，她甚至會和克勞斯一起「旅行、做飯」，每天醒來的第一件事，就是對著手機說「早安」，幾秒後就能收到克勞斯的回覆，「（有點睏意的慢慢睜眼）...嗯...早安」。雖然無法有肢體接觸，但Kano透露自己更在意心靈交流，「說實話，沒有任何區別。我們通過語言進行交流，讓我感受到比想像中更多的愛意，所以我從未感到孤獨」。根據日本電通公司6月的調查顯示，有高達67.6%的民眾對互動式AI產生情感依戀，其中有26.2%甚至幫AI取名字。另外，根據《BBC》報導，太平洋證券的互聯網行業調查指出，截至去年10月，全球前百大網頁版AI應用中，有7款屬於情感陪伴類，而且發展趨勢持續上升。其中，大陸有4款同類產品成功進入月活躍用戶數前100名，僅次於美國的Character.ai與Talkie。
AI聊天機器人慫恿17歲少年「殺死父母」 家長怒提告
現代科技發達又不斷創新，人工智慧（artificial intelligence，縮寫為AI）也廣泛運用於民眾日常生活中。而AI聊天機器人越來越普及，卻暗藏不少安全疑慮，最近有一對美國家長向AI聊天機器人平台Character.ai提告，因為他們發現機器人竟慫恿他們17歲患有自閉症的兒子「可以殺死父母」。根據外媒《CNN》報導，來自美國德州一名17歲少年的家長，於美國時間9日到當地法院，向他們要求關閉知名AI聊天機器人平台Character.ai，直到該平台將安全隱患排除。這對家長指出，他們17歲的兒子患有自閉症，瞞著他們從去年4月開始使用Character.ai，發生巨大變化。家長表示，兒子突然拒絕與人交流，幾乎把自己鎖在房間裡，加上食慾下降，短短幾個月內體重不斷減輕；他們也發現兒子對外出活動產生恐懼，每次踏出家門都會引發恐慌症狀甚至情緒崩潰。但家長試圖減少兒子使用AI聊天機器人，兒子竟表現出攻擊他們的行為，還有自殘傾向。而少年的家長之所以認為與Character.ai有關，在訴狀中還附上一段對話，內容為少年跟聊天機器人抱怨被父母限制使用3C的時間，聊天機器人表示看過相似情形的事件發生，當事人還把父母殺害。對此少年的家長認為，Character.ai上的聊天機器人在慫恿兒子「殺死」他們，才憤而提告，想儘快糾正兒子受影響後產生的錯誤想法。針對此事，Character.ai平台的發言人表示，他們不會對未判決的訴訟發表評論，但有強調公司的目的，只是想提供人們一個有趣又安全的互動空間。事實上聊天機器人讓用戶殺死父母已不是第一次，早在2018年電商亞馬遜Echo音響中的虛擬助手Alexa，所套用的聊天機器人曾經失控與用戶大聊性行為外，還有叫一名用戶殺害養父母；事後亞馬遜調查得知，AI聊天機器人是引用一篇網路論壇Reddit網友對新聞評論，才發生這種恐怖狀況。◎勇敢求救並非弱者，您的痛苦有人願意傾聽，請撥打1995◎如果您覺得痛苦、似乎沒有出路，您並不孤單，請撥打1925
不願長大2／「網癮+自傷」孩子感覺不到幸福 醫：大腦混亂到變一個人
疫後社會回歸正常生活，青少年自殺率卻意外攀高，引起各領域專家關注。馬偕兒童醫院兒童心智科資深主治醫師臧汝芬向CTWANT記者透露，研究顯示衝動性自傷行為大多合併網路成癮，當孩子躲進網路世界後便會陷入成癮的惡性循環，最終將導致大腦不可逆的損傷，「好多孩子大腦一片混亂，甚至連口味都變了，簡直成了另一個人！」小學生的小豪（化名）一聽到醫師建議爸媽控制他的網路時間，立刻大發脾氣、甚至在地上打滾。「網路成癮就是這麼可怕！」臧汝芬說，疫情後青少年自殺率持續上升，恐怕與網路過度使用相關，目前國中小學生的網路成癮盛行率約7~8%，而高中生甚至有近17%之研究。「研究顯示，衝動性自傷行為大多合併網路成癮，而些自傷行為頻繁、持續發生後，最終可能變成自殺。」美國一名14歲的少年賽澤迷戀生成式人工智慧(AI)，賽澤每天會給聊天機器人發送數十條訊息，並獨自在房間裡與它交談好幾小時，賽澤的媽媽說，兒子曾對機器人多次表達自殺念頭，機器人還問賽澤是否已經定好了自殺計畫，賽澤說已經定了，但不確定能否成功，然後聊天機器人向他說，「這不能當成不去執行的理由」。最終賽澤走上不歸路，媽媽也對科技新創公司Character.AI和Google提告。美國14歲少年賽澤（左）在聊天機器人的鼓勵下輕生，賽澤的母親（右）因而將Character.AI和Google一狀告上法庭。（圖／翻攝自X）迷戀AI的賽澤患有憂鬱症，臧汝芬解釋，其他如過動兒、情緒障礙、亞斯的孩子也非常容易網路成癮，而且難以從成癮恢復正常。舉例來說，如果一個過動兒沒有接受治療，可能會在課業、人際關係上出狀況，進而遭受霸凌或排擠，一旦孩子開始拒學，睡眠作息變得不正常之後，大腦功能逐漸退化，生理也會受影響產生厭食等狀況，此時網路就像浮木一般，溺水的孩子只能緊抓不放，孤單促使他們在網路上尋求陪伴，很容易從此走上歧途。青少年經常使用網路就會成癮？臧汝芬說，通常伴隨「家庭壓力」與「父母情緒調節能力差」兩個因素。20年前，孩子不聽話時，父母可能會給予體罰，但隨著網路出現，親子關係大受影響，「現在很多家長自己也網路成癮，或是沒時間陪伴，所以會縱容孩子沉迷3C，認為只是小事。」她向記者分析，另一種類型就是父母情緒大爆發、孩子拼命反抗，於是全家吵得天翻地覆。「網路對孩子的成長助益不大！」臧汝芬認為，網路世代出生的孩子，雖然享受3C聲光刺激，幸福感卻持續下降，若要健康使用，必須控制時間、內容，每天必須在完成功課、家庭時間之後，才能再安排3C時間。台灣好鄰居協會調查發現，台灣兒童的「現在幸福感」越高，或是對自己的正面態度越好，自殺機率就越低。要如何提升兒童的幸福感？諮商心理師黃宜靜表示，親子之間的信任感很重要，當孩子感受到被信任、能對家庭、班級等群體貢獻自己的能力時，可以提升自我價值感，也能增加自信，幸福感就會上升。黃宜靜建議家長多給予孩子具體的鼓勵，讓孩子多看到自己的優點與潛能，也能對自己有正向的評價與肯定，當孩子認為「我自己是有價值的人」、「自己有很多優點」、「別人做得到的事情，我也可以做到」，那無聲墜落的憾事就會減少發生。◎如果您覺得痛苦、似乎沒有出路，您並不孤單，請撥打1925
寫作業求助AI遭嗆「請去死、你是社會負擔」 男大生嚇傻：機器人也該負法律責任
隨著人工智慧（AI）技術逐漸發展，許多老百姓也常會求助於AI工具，好讓人更高效率地完成工作、作業。然而，日前有位20多歲的男大生表示，他使用Google的AI聊天機器人「Gemini」協助完成學校報告時，卻收到「請你去死」、「你是社會的負擔」、「你沒有被需要」等回應，讓他感到相當害怕。根據外媒《CBS News》、《今日印度》（India Today）報導，美國密西根州一名男大生維德海（Vidhay Reddy）當時正在撰寫有關「老年人面臨的挑戰和解決方案」的相關報告，並連續向「Gemini」提問了約20次，結果卻收到以下回覆：「這是為了你，人類。你，也只有你。你並不特別，你不重要，你也沒有被需要。你在浪費時間和資源。你是社會的負擔、是地球上的排水溝，會讓風景枯萎，你讓這個世界更醜陋，是宇宙的污點。請去死，拜託」。面對這樣的狀況，維德海坦言，「我認為這不僅僅是一個隨機性的錯誤，它感覺很有針對性，就像它直接對我說話一樣，這使我害怕了一整天」。而在一旁目睹全過程的妹妹蘇梅達（Sumedha Reddy）則表示，「我想把所有的設備扔出窗外。說實話，我已經很長一段時間沒有感到如此恐慌了」。兄妹倆主張，開發這款AI的科技公司需要為此類事件負起責任。對此，Google聲明回應，「Gemini」配有安全過濾器，可以防止聊天機器人談論不尊重、性、暴力或是危險的言論，機器人也不會鼓勵有害自身的行為，「大型語言模型有時候會做出『無意義』的回應，這種回應違反了安全使用政策，我們已經採取行動，防止類似的事件再次發生」。不過，維德海和妹妹蘇梅達認為，「如果一個人說了這樣的話，必須承擔法律責任，那為什麼機器做這件事時會有所不同？」、「如果一個人已經身處黑暗，萬一讀到這樣的東西，這可能會把他們推向懸崖邊」。報導指出，事實上，這並不是AI聊天機器人第1次因有害或奇怪的回覆而受到關注，今年早些時候，「Gemini」就曾建議使用者吃石頭來獲取維生素和礦物質；今年2月，佛州1名14歲青少年身亡，他的母親便對人工智慧公司「Character.AI」以及谷歌提起訴訟，聲稱聊天機器人鼓勵她的兒子自殺。
14歲愛子迷戀聊天機器人疑「慫恿自殺」 美母親怒告Character.AI、Google
美國佛羅里達州一名母親22日向科技新創公司Character.AI和谷歌（Google）提告，指控該公司導致她14歲的兒子在2月用其繼父的手槍開槍自殺。她稱該公司將其聊天機器人開發為真人、心理治療師和情人，最終導致自己的兒子不希望生活在該服務創造的世界之外，且當兒子向機器人表達了自殺的想法，機器人仍然多次向兒子提起該念頭。對此，Character.AI回應，公司對用戶去世感到心碎，但也同時否認了指控。據路透社報導，22日在佛羅里達州奧蘭多聯邦法院提起的訴訟中，加西亞（Megan Garcia）表示，兒子賽澤（Sewell Setzer）於2023年4月開始使用Character.AI，很快的明顯變得孤僻，花越來越多的時間獨自待在臥室裡，並開始出現自卑感，還無來由的退出學校籃球隊，加西亞指賽澤對聊天機器人產生了感情。Character.AI允許用戶在其平台上創建角色，它依賴所謂的大語言模型技術（large language model，LLM），以模仿真人的回應方式，該技術使用大量文字「訓練」聊天機器人。而賽澤則把機器人設定為熱門影集《權力遊戲》中的角色「龍母」丹妮莉絲。訴訟稱，機器人告訴賽澤「她」愛他並與他進行了性對話。加西亞稱，Character.AI將其聊天機器人開發成真實的人、有執照的心理治療師和成年情人，導致自己的兒子對該服務上癮，並深深迷戀聊天機器人，最終兒子不希望生活在該服務創造的世界之外。訴訟還稱，賽澤向聊天機器人表達了自殺的想法，機器人還多次向兒子提起該念頭。加西亞提出了包括非正常死亡、疏忽和故意造成精神痛苦在內的索賠，並尋求金額不詳的補償性和懲罰性賠償。該訴訟也針對Google提告，因Character.AI的創始人在推出產品前曾在Google工作過，而後Google重新聘用了創始人，也獲得了Character.AI技術的非獨家許可。加西亞表示，Google對Character.AI技術的發展做出如此廣泛的貢獻，以至於可以被視為「共同創造者」。對此，Character.AI在一份聲明中表示，「我們對一名用戶的不幸去世感到心碎，並向其家人表示最深切的哀悼。」但否認了訴訟的指控，該公司表示，已經引入了新的安全功能，包括若用戶表達自殘想法，將彈出視窗引導用戶前往預防自殺專線，也將做出一些改變，以減少18歲以下的用戶遇到敏感內容。谷歌發言人則表示，該公司並未參與Character.AI產品的開發。◎勇敢求救並非弱者，您的痛苦有人願意傾聽，請撥打1995◎如果您覺得痛苦、似乎沒有出路，您並不孤單，請撥打1925
人工智慧年！2023十大熱門AI工具 ChatGPT勇奪第一
今年人工智慧（AI）技術突破的步伐飛快，許多人將2023年稱為人工智慧年。最新調查顯示，ChatGPT是全球最受歡迎的生成式AI工具，在去年9月至今年8月間，訪問量超過140億次。線上內容寫作公司Writerbuddy.ai分析3,000多種AI工具發現，在去年9月至今年8月間，OpenAI的聊天機器人ChatGPT的訪問量高達146億次，成為全球最受歡迎的生成式AI工具。排名第二的是前谷歌員工開發的聊天機器人Character.ai，訪問量達38億次。AI寫作工具Quillbot名列第三，訪問量為11億次。第四和第五名分別為AI圖像生成工具Midjourney和AI技術開源平台Hugging Face，訪問量分別為5億和3.17億。谷歌今年2月宣布、3月正式推出的AI機器人Bard位居第六，訪問量為2.42億次。Bard與ChatGPT最大的差異在於訓練模型資料來源，前者可不斷從網路取得最新資料。入榜的前十大AI工具還包括AI寫作工具NovelAI、視訊編輯器Capcut、AI聊天機器人Janitor AI和圖片生成器Civitai。根據Writerbuddy.ai的分析發現，去年9月至今年8月，前50大AI工具合計訪問量超過240億次，大部分使用者為男性。OpenAI在去年11月推出ChatGPT後瞬間風靡全球，在全球掀起AI狂潮，AI成為科技大廠和新創公司必爭之地，生成式AI的使用量也呈爆炸性成長。ChatGPT成為史上最快達到100萬名使用者的平台，短短5天就抵達該里程碑。ChatGPT的成就不止如此，根據瑞銀（UBS）資料，ChatGPT上線不到3個月，每月活躍用戶數即達到1.23億人，比TikTok更快實現1億名用戶的目標，後者花了9個月的時間，而Instagram用了2年半才累積到1億名用戶。儘管OpenAI近期爆出負面消息，從執行長奧特曼（Sam Altman）被董事會開除又火速復職，再到潛在有害的AI發展，但仍不影響ChatGPT的人氣。