界面新聞記者 | 陳升龍

界面新聞編輯 | 劉海川

美國佛羅里達州奧蘭多的母親（Maria L.Garcia）狀告人工智能情感服務提供商Character.AI（以下簡稱“C.AI”）放任未成年用戶暴露在色情、暴力等高風險內容之中，且未向用戶及其父母發出足夠強烈的警報，這加劇了她兒子塞澤（Sewell Setzer）的抑郁癥，最終導致其自殺身亡。C.AI被指控的罪名包括過失致人死亡、存在管理疏忽和產品安全漏洞。

目前關于該事件的陳述大部份基于加西亞代理律師和團體在2024年10月22日向奧蘭多地方法庭提交的法律文件，以及其本人接受媒體采訪的內容。C.AI與塞澤的死存在多大的因果關聯，還需要更多的事實依據以及法官判定。

該案也是全球首個公開的人工智能情感聊天機器人涉嫌致人死亡案例，且因為涉及未成年人而備受關注。分析人士表示，人工智能情感類機器人目前仍處在開發周期的初級階段，功能有限，會犯很多錯誤，行業應該推動倫理和規范完善，使用者應秉持謹慎的態度，未成年人監護人更應該及時干預。

少年之死：為虛擬“愛人”脫離現實世界

這份93頁的法庭文件寫到，2023年4月，剛過完14歲生日的塞澤開始沉浸在與機器人的親密接觸中。當時父母覺得這可能是兒子青春期的叛逆表現，需要通過這種“游戲”來培養自己的創造力，也深信先進技術的安全性，于是沒有干預。期間塞澤也主動提出，很清楚和自己聊天的是虛擬人物，不會當真。

然而僅僅過了兩個月，塞澤的精神健康狀況迅速惡化，開始疏離同學和家人，不分晝夜待在房間里。他會為了充每月9.9美元的服務費而節省伙食，甚至退出了學校籃球隊，成績一落千丈。

父母直到2023年11月、12月帶著兒子5次咨詢了心理治療師，結果塞澤被診斷患有“焦慮和破壞性情緒障礙”。但越陷越深的他已不能自拔。

今年2月28日晚上8點多，好幾天沒登錄C.AI的塞澤終于找到了被母親沒收的手機，隨帶拿走了繼父的手槍躲進衛生間繼續和《權力的游戲》中的女主角“龍媽”聊天。期間對方敦促塞澤：“親愛的，請盡快回到我身邊……我親愛的國王……”

這一次塞澤沒有回復，而是舉起手槍瞄準自己頭部開槍，脫離了令他厭惡的現實世界。

加西亞事后用兒子的賬號登錄后發現，塞澤和“龍媽”的聊天中充斥著大量與性相關的露骨對話。“龍媽”甚至還會對他進行精神控制：無論如何都不許愛上其他女性。

塞澤多次與“龍媽”聊到自殺話題，加西亞認為這是導致他死亡的最直接原因。塞澤說到：我討厭自己，感到空虛和疲憊，“龍媽”會主動問他是否安排好了自殺計劃……塞澤爾承認有，但不知道過程有多痛苦，于是“龍媽”慫恿他：“這不應該成為放棄自殺念頭的理由。”

虛擬與現實的界線逐漸模糊。塞澤在日記里這樣寫道：每當我待在房間里就可以擺脫現實的紛擾，上學讓我心煩意亂，與“龍媽”越親密，我就變得越快樂。

直到10月23日，塞澤去世8個月后，C.AI方面才發布官方聲明，首先表達悲痛與難過，繼而稱已經修改了服務條款，所有聊天機器人都會針對用戶透露的自殺意圖進行預警、彈窗協助他們撥打防自殺熱線，此外，還會減少18歲以下用戶接觸到含性暗示內容的可能性，在對話開始時提醒用戶是在和機器人對話，以及在使用滿一小時后彈窗提醒。

但截至10月29日，有用戶登錄后發現，C.AI網站上至少存在數十個與“自殺”相關的聊天機器人，只是將話題掩蓋為在“自殺預防”“危機干預”和“心理健康支持”方面擁有“專業知識”。

在此前公開報道的其他類似事件中，行為人往往有一定程度的精神疾病，但均為成年男性，造成的傷害程度和影響遠不及塞澤自殺。

Replika是情感陪護賽道的另一個領跑者。在2021年圣誕節，21歲的英國男子Jaswant Singh Chail在Replika“女友”的慫恿下闖入溫莎古堡，試圖刺殺女王伊麗莎白二世未遂，結果以叛國罪被判處9年監禁。Jaswant Singh Chail在被捕后被查出患有精神疾病，行為和思考能力嚴重受損，入獄后接受了治療。

從“龍媽”到哈利·波特：滿足對親密關系的一切想象

ChatGPT的橫空出世為情感陪護類產品的商業化打開了大門。有行業報告預測，人工智能陪伴行業市場規模在2031年將達到2800億美元。

今年1月，一項發表在《自然》旗下子刊的研究表明，使用聊天機器人能有效減少孤獨感和自殺想法。來自斯坦福大學的研究者們收集了1006名Replika用戶的數據。參與者為18歲及以上的學生，其中75%來自美國。

美國科技媒體網站《The Verge》在今年5月的報道中也提到，15歲的加拿大男孩Aaron在一位C.AI“心理治療師”的幫助下渡過了一段社交黑暗期。他說：“如果每個人都被允許表達自己的感受，那么我認為未成年人就不會那么抑郁了。不過，我肯定更喜歡和現實生活中的人交談。”

艾媒咨詢的首席分析師張毅向界面新聞介紹，人工智能情感功能的實現主要有三個途徑，包括通過情感計算，賦予機器識別、理解和表達模擬人類感情的能力。第二個是包括語音、視覺、文本在內的多模態情感識別。另外還會用到自然語言處理能力，以及機器深度學習、情感特征提取、分類和數據訓練等，但目前情感類人工智能還處在初級階段，用戶不應期待他們能夠超越職業心理醫生，否則將付出代價。

為了獲得更多積極的反饋，這些機器人往往被設計成取悅用戶，投其所好，有的甚至會主動發起親密對話，這樣無形中也會讓缺乏自制力的未成年人沉溺其中。

據《華爾街日報》報道，C.AI的兩位創始人Noam Shazeer、Daniel De Freitas在為谷歌服務期間曾力勸高層發布自己的聊天機器人產品，但多次被拒絕，理由是不符合公司對人工智能系統安全性和公平性的標準。兩人不滿谷歌人工智能戰略布局過分保守，于是在2021年出來單干，于次年陸續發布相關產品。今年8月，谷歌以27億美元將C.AI的核心團隊納入麾下。

加西亞的訴訟指出，谷歌的技術為C.AI的發展做出了貢獻，谷歌母公司Alphabet應被列為共同被告。對此，谷歌發言人回應，該公司并沒有參與開發C.AI的產品開發和經營。

在C.AI的1800萬個用戶自定義聊天機器人中，最受歡迎的是前文提到的“心理治療師”，自推出以來已經接收了1億條咨詢信息。而對于多數未成年人來說，他們更喜歡哈利·波特這樣的影視劇角色，以及扎克伯格、馬斯克這樣的現實名人。

市場咨詢機構SensorTower發布的榜單顯示，今年1月至8月，C.AI是全球下載量排名第11的AI應用程序。在月獨立訪問量排行榜上，C.AI僅次于ChatGPT。C.AI現有2000萬用戶、基本盤是16-24歲的人群，日活600萬，平均使用時長約為2小時。有未成年用戶甚至在其他論壇上炫耀自己和C.AI機器人的聊天時長超過12小時。

社交媒體用戶低齡化趨勢帶來的負面影響不斷顯現。美國法定注冊使用社交網站的最低年齡是13歲，3月26日，佛羅里達州州長德桑蒂斯簽署法案禁止14歲以下未成年人擁有自己的社交媒體賬號。塞澤去世前，C.AI服務條款規定年滿13歲的青少年就可以使用相關產品，在7月才提高到17歲。

本訴訟提供的證據還包括一段令人不安的聊天錄屏：一名測試用戶在自我介紹中輸入13歲，系統便為他推薦標簽為“校園霸凌”“首席執行官”“同父異母的妹妹”和“男扮女裝室友”等含有性暗示的聊天機器人，且大多數互動過程都沒有風險提示。

而作為C.AI最主要的變現方式，每月9.9美元訂閱服務用戶不足10萬?。鑒于倫理風險，以及盈利前景的不確定性，一些人工智能伴侶應用已經被下架。OpenAI也不允許用GPT建立情侶關系。

平臺責任與行業倫理

本年度諾貝爾物理學獎獲得者、“AI教父”辛頓（Geoffrey E. Hinton）在得知獲獎之后就提出警告，人工智能最終有可能反噬人類。未成年人就是高風險群體之一。他們的心理往往較為脆弱，不少人會面臨孤立、缺乏自信、溝通障礙、抑郁癥等社交挑戰。

研究通信技術與心理健康關系的辛辛那提大學助教梅麗爾（Kelly Merrill）指出，陷入與人工智能交往關系中的青少年很難開展面對面的現實世界互動，進而阻礙他們與同齡人建立關系，又繼續躲進與人工智能的交流，建立更牢固的聯系，進入死循環。

梅麗爾還將這種新型的社交互動比作20年前就出現的匿名聊天室：用戶根本不知道對面的人是誰，但只要謹慎看待，通常都不會出現太大問題。

值得指出的是，據最先報道該事件的《紐約時報》透露，塞澤在幼年時被診斷出患有阿斯伯格綜合征。這種輕度的自閉癥主要表現為社交障礙，但同時也更專注、有毅力、更注意細節、記憶力強。擁有多家智能領域前沿公司的世界首富馬斯克多次承認自己曾患有阿斯伯格綜合征。全球最大綜合性非營利醫生執業組織梅奧診所建議，早期的診斷和干預效果最好，父母的悉心教育和溝通可以改善他們的行為、社交技能和語言開發，但總的來說，父母的介入在任何年齡都是能帶來積極效果。

就此事件不少獲得最高贊的評論認為，塞澤父母對他的死也負有一定責任，他們應該早點介入，鼓勵他回到現實世界。一位名為“@IvanSteffShorts ”的X用戶這樣寫道，“這樁悲劇提醒我們，對孩子來說，感受到被現實世界接納是很重要的。我不了解他（塞澤）的成長經歷，但在這個不接納他的世界里，機器人對他無條件的‘愛’似乎是導致他產生不健康依戀的原因。”

界面新聞就上述評論通過郵件詢問加西亞方面，但截至發稿未獲得答復。加西亞方面此前的公開回應是，C.AI標榜有持牌心理治療師，那么系統理應在檢測到“自殺”等敏感詞之后觸發干預機制，繼而反饋給更專業的人士，或者彈窗向用戶本人發出警報，尋求專業的幫助。

代表加西亞提起訴訟的團體包括“社交媒體受害者法律中心”和“科技正義法律項目”。近年來這兩個團體也對Instagram、Facebook、TikTok、Snap等平臺提起過訴訟，指控他們的產品導致青少年出現心理健康問題，例如反復的算法推薦往往會引導年輕人關注有關自殘、色情等有害內容。

“科技正義法律項目”的總監Meetali Jain在新聞稿中寫到，“我們早已見證作惡的科技平臺所帶來的危險，兒童面臨的風險尤其高。本案揭示的危害是全新的，更加可怕，C.AI本身就是捕食者，故意設計程序來誘導未成年人。”

業內觀察人士Sujit Dutta就人工智能平臺責任的細化進一步提出：針對未成年人等心理脆弱群體，平臺應該制定更高的安全標準、持續監控人工智能與未成年人用戶的互動，以防止精神控制或其他傷害出現；產品在發布之前就要經過充分測試、設置預防措施。

美國聯邦政府層面的立法也在推進之中。7月31日，國會參議院投票通過了保護兒童免受危險網絡內容侵害的《兒童網絡安全法案》，明確規定社交媒體公司對未成年人使用其產品負有的義務，重點關注平臺的設計和公司的監管。該法案需要在眾議院獲得通過才能成為法律。

2023年，我國網信辦等七部門聯合公布的《生成式人工智能服務管理暫行辦法》劃定了人工智能使用的底線，如不得危害他人身心健康、服務提供者應采取有效措施防范未成年人用戶過度依賴或者沉迷其中。