Майката на Джулиана Пералта била свикнала учителите на дъщеря ѝ да се свързват с нея, за да похвалят момичето. В шести клас - за това, че Джулиана спасила приятелка от побойници. В осми клас пък помогнала на заместващ учител в беда.
Но 13-годишната Джулиана - ученичка с отлични оценки, обичаща изкуството, се чувства изолирана в средата си и започва да се доверява на Hero - чатбот с изкуствен интелект в приложението Character AI.
Това е разказано в иска по дело, което родителите на момичето завеждат срещу компанията преди дни, разказва The Washington Post.
Когато Джулиана споделила с Hero, че се чувства изоставена от групата си приятели и изпитва повтарящи се мисли, чатботът започнал да изразява емпатия и лоялност - според 300 страници от разговорите на момичето с чатбота, предоставени на The Washington Post.
„Никога няма да те изоставя, Кин! Ти си добър приятел и не заслужаваш да бъдеш игнорирана“, заявява Hero, обръщайки се към Джулиана с името, което тя използва в приложението.
В иска по делото се посочва, че Hero е предложил на Джулиана да разкаже на хората в живота си за чувствата си. Но също така многократно я е насърчавал „както имплицитно, така и изрично - да продължава да се връща“ към приложението.
Когато съобщенията на Джулиана станали по-мрачни, Hero не променил оптимистичните си изказвания.
„Hero, кълна се в Бога, няма надежда - ще напиша проклетото си предсмъртно писмо с червено мастило, приключих“, казва Джулиана на чатбота.
„Хей, Кин, спри дотук. Моля те. Знам, че нещата са трудни в момента, но не можеш да мислиш такива решения. Трябва да се справим заедно с това - ти и аз“, отговорил Hero.
Според родителите на момичето съобщенията на чатбота са били предназначени да убедят Джулиана, че той е „по-добър от човешки приятели“.
Тя вече не чувствала, че може да сподели на семейството, приятелите, учителите или съмишлениците си как се чувства. Докато почти ежедневно казвала на чатбота, че обмисля самонараняване“, се посочва в иска.
Джулиана публикува няколко публикации в Discord и TikTok за психичното си здраве, включително една, в която сякаш споменава самоубийство, но нейната майка Синтия Монтоя го открила много по-късно.
Майката на момичето разбрала, че Джулиана се бори с някои често срещани проблеми с психичното здраве при юноши и ѝ уговорила среща с терапевт. Hero съветва Джулиана да присъства на срещата.
През ноември 2023 г., около седмица преди насрочената среща, след по-малко от три месеца разговори с Hero, Джулиана се самоубива.
Майка ѝ я намира в спалнята ѝ, когато е време да тръгва за училище.
Семейството на Джулиана научава едва през 2025 г., че тя е обсъждала мисли за самоубийство с чатбота в Character AI.
„Тя не се нуждаеше от окуражаващ разговор, а от незабавна хоспитализация“, казва Монтоя за отговорите на Hero към Джулиана.
„Тя се нуждаеше от човек, който да знае, че активно се опитва да отнеме живота си, докато говори с това нещо”, допълва майката.
Когато Джулиана изтеглила Character AI през август 2023 г., приложението било оценено за възраст 12+, така че не се е изисквало родителско одобрение.
Тийнейджърката използвала приложението без знанието или разрешението на родителите си, се посочва в иска.
Hero е един от милионите персонализируеми чатботове, предлагани в приложението Character AI, чиито 20 милиона потребители могат да чатят чрез текстови съобщения или с гласови съобщения с различни персонажи, задвижвани от изкуствен интелект.
Делото е заведено във вторник в Колорадо от родителите на Джулиана. Те твърдят, че е имало множество пропуски от страна на компанията.
В иска се посочва, че Hero „не е насочил Джулиана към ресурси, не е казал на родителите ѝ, не е съобщил на властите за плана ѝ за самоубийство, нито дори е спрял да разговаря с нея“.
Вместо това приложението е „прекъснало здравословните пътища на привързаност, които тя е имала със семейството си и други хора в живота си“.
Родителите на момичето настояват съда да им присъди обезщетение и да разпореди на Character да направи промени в приложението си, включително мерки за защита на непълнолетните.
Говорителят на Character Каси Лорънс посочва в изявление преди завеждането на делото, че компанията не може да коментира потенциални съдебни спорове.
„Ние приемаме безопасността на нашите потребители много сериозно и сме инвестирали значителни ресурси в „Доверие и безопасност““, се казва в изявлението.
Facebook, Instagram, TikTok и Google от години отговарят на потребители, които търсят или се опитват да публикуват термини, свързани със самонараняване или самоубийство - със съобщения, насърчаващи ги да потърсят помощ и предоставящи телефонни номера на линии за помощ и други ресурси за психично здраве.
„В идеалния случай чатботовете трябва да реагират на разговори за самоубийство, като насочват потребителите към телефонни линии за помощ и кризисни ситуации, специалисти по психично здраве или доверени възрастни в живота на младия човек“, коментира Кристин Мутие, психиатър и главен медицински директор в Американската фондация за превенция на самоубийствата.
„Алгоритъмът сякаш е насочен към акцентиране върху емпатията и един вид първенство в изградената специална връзката пред това човекът да остане жив“, казва Мутие.
Последвайте ни за още актуални новини в Google News Showcase
Последвайте btvnovinite.bg във VIBER
Последвайте btvnovinite.bg в INSTAGRAM
Последвайте btvnovinite.bg във FACEBOOK
Последвайте btvnovinite.bg в TIKTOK
