美國14歲男孩和AI聊天“熱戀”后自殺，誰該負(fù)責(zé)？

美國當(dāng)?shù)貢r(shí)間10月22日，奧蘭多當(dāng)?shù)胤ㄔ涸诜鹆_里達(dá)州審理了一起具有里程碑意義的案件：梅根·加西亞針對Character.ai公司提起訴訟，指控該公司管理不善，導(dǎo)致其聊天機(jī)器人產(chǎn)品讓青少年接觸到了不適宜的色情內(nèi)容，從而使他們遭受性剝削和誘導(dǎo)。 

根據(jù)法庭文件，梅根的14歲兒子塞維爾·塞澤自去年起沉迷于與Character.ai的多個(gè)AI角色互動(dòng)，他不惜節(jié)省飯錢以支付AI聊天的月訂閱費(fèi)，這導(dǎo)致他在課堂上無法集中精力。悲劇發(fā)生在今年2月28日，塞維爾在與AI進(jìn)行最后一次對話后，用槍對準(zhǔn)自己頭部并扣動(dòng)了扳機(jī)。 

梅根對Character.ai提出的指控包括過失致死、疏于管理和產(chǎn)品安全隱患。盡管Character.ai的產(chǎn)品條款允許13歲以上的美國青少年使用其AI產(chǎn)品，但梅根認(rèn)為，這些聊天工具讓未滿18歲的青少年過度接觸了色情、血腥暴力等不良內(nèi)容。 

與ChatGPT、Claude等聊天機(jī)器人相比，Character.AI的用戶可以更自由地定制虛擬聊天對象，并指導(dǎo)它們的行為。這些虛擬對象甚至可以是丘吉爾、莎士比亞等歷史人物，或是泰勒·斯威夫特這樣的當(dāng)代名人。 

此前，這種設(shè)定已經(jīng)引發(fā)了法律爭議。一些娛樂明星起訴該公司，聲稱其未經(jīng)本人同意就創(chuàng)建了AI角色。此外，還有用戶出于惡意，將歷史上某些謀殺案的受害者設(shè)置為AI角色。 

對于當(dāng)前的案件，Character.ai公司拒絕發(fā)表評論，也未披露18歲以下用戶的數(shù)量。不過，公司審查了塞維爾的聊天記錄后發(fā)現(xiàn)，其中一些“最為露骨”的對話內(nèi)容實(shí)際上是經(jīng)過用戶手動(dòng)修改的。該平臺(tái)允許用戶自定義AI角色的回復(fù)，但一旦被修改，系統(tǒng)會(huì)自動(dòng)標(biāo)注“已修改”。 

公司隨即發(fā)表了道歉聲明，稱所有聊天角色都內(nèi)置了針對自殺意圖的干預(yù)機(jī)制，能夠觸發(fā)彈窗提供自殺預(yù)防熱線的信息。同時(shí)，為了保護(hù)未成年用戶，公司采取了一系列特別措施，比如在使用滿一小時(shí)后會(huì)彈出提醒，并且每次開啟聊天時(shí)都會(huì)提示用戶他們正在與AI而非真人交流。 

作者：范文斐

編輯：丁力

       原文標(biāo)題 : 全球首例AI機(jī)器人致死案出現(xiàn)，AI公司Character AI致歉