Подросток общался с чат-ботом, а затем совершил суицид

Мать подала в суд на чат-бот.

Жительница Флориды Меган Л. Гарсия из Орландо подала судебный иск к разработчику приложения Character.ai, обвинив компанию в смерти своего 14-летнего сына Сьюэлла, сообщила газета The New York Times 23 октября.

В исковом заявлении Гарсия заявила, что технология компании «опасна и непроверена» и может «обманом заставить клиентов передать свои самые личные мысли и чувства».

Character.ai – приложение с функцией чат-бота, работающего на нейронной языковой модели. Пользователи приложения могут создать для общения собственного персонажа на основе искусственного интеллекта.

По данным NYT, сын заявительницы Сьюэлл Зетцер III на протяжении длительного времени общался с чат-ботом, которого он назвал в честь Дейенерис Таргариен, персонажа сериала «Игра престолов». Как пишет издание, у подростка возникла эмоциональная привязанность к боту, которого он называл «Дэни». В своем дневнике Сьюэлл писал, что влюблен в Дэни.

В начале 2024 года родители Сьюэлла заметили, что их сын начал замыкаться в себе, а в школе у него появились проблемы с успеваемостью. Подростка отправили к психотерапевту, у Сьюэлла обнаружили тревожность и деструктивное расстройство дисрегуляции настроения.

Во время общения с чат-ботом, пишет The New York Times, школьник писал, что ненавидит себя, чувствует себя опустошенным и измученным, а также думает о самоубийстве. В переписке, которую приводит издание, чат-бот отвечал, что не позволит Сьюэллу причинить себе вред. «Я умру, если потеряю тебя», – писал чат-бот. В ответ юноша предложил «умереть вместе». Сьюэлл совершил самоубийство в ночь на 28 февраля.

Представители Character.ai в заявлении от 22 октября сообщили, что в последние шесть месяцев внесли ряд изменений в работу чат-бота, в том числе ввели ограничения для тех, кому нет 18 лет. В частности, если пользователь пишет фразы, связанные с самоповреждением или самоубийством, в чате всплывает окно, направляющее его на линию для людей в кризисной ситуации.