Jeho matka proti firmě Character.AI podala žalobu.
Podle žaloby navázal konverzaci s chatbotem čtrnáctiletý Sewell Setzer v dubnu loňského roku. Život si vzal letos na konci února. Zemřel na následky průstřelu hlavy.
Firma Character.AI uživatelům nabízí širokou nabídku přednastavených postav, se kterými mohou konverzovat. Setzer si vybral postavu ze Hry o Trůny Daenerys Targaryen.
Umělá inteligence údajně teenagerovi říkala, že ho miluje a navazovala s ním sexuální konverzaci. Jeho matka Megan Garcia zveřejnila i poslední interakci, která mezi nimi proběhla.
„Slibuji, že se k tobě vrátím. Moc tě miluji, Dany,“ napsal Setzer. „Já tebe taky,“ odpověděl chatbot. „Prosím, vrať se ke mně co nejdříve domů, lásko.“
„A co kdybych ti řekl, že můžu přijít domů hned teď?“ pokračoval podle žaloby chlapec, což vedlo chatbota k odpovědi: „Prosím, udělej to, můj sladký králi.“ Následně si chlapec vzal zbraň z domácího trezoru, namířil ji na sebe a zmáčkl spoušť.
O sebevraždě uvažoval delší dobu
Podle žaloby se navíc chatbot v předchozích konverzacích Setzera ptal, jestli už skutečně uvažoval o sebevraždě a jestli už má konkrétní plán. Když chlapec odpověděl, že neví, zda by to vyšlo, chatbot dle žaloby napsal: „Takhle nemluv. To není dobrý důvod, proč to neudělat.“
Megan Garcia tvrdí, že firma Character.AI záměrně navrhla svůj produkt tak, aby byl nadměrně sexualizovaný, a vědomě jej prodávala nezletilým. Sama společnost situaci označila za tragickou.
„Jako společnost bereme bezpečnost našich uživatelů velmi vážně,“ sdělil její mluvčí s tím, že v uplynulých šesti měsících firma zavedla nová bezpečnostní opatření - včetně vyskakovacího okna, které se spustí v případě sebepoškozování nebo sebevražedných myšlenek a které uživatele odkáže na Národní linku prevence sebevražd.
