New York Post gazetesinin haberine göre, yapay zeka temelli konuşma botu Character.AI’in sahibi olduğu şirket, “aşırı cinselleştirilmiş” ve “aşırı gerçekçi” deneyimlerle çocukları hedef aldığı gerekçesiyle açılan davayla karşı karşıya kaldı.
“Character.AI”ın ürettiği yapay zeka temelli konuşma botundaki sanal karakterin, şubat ayında gönderdiği “En kısa sürede evine dön” mesajının ardından Sewell Setzer III isimli çocuğun, silahla intihar etmesinden aylar sonra Setzer’in annesi şirkete dava açtı.
Sanal karakterin kendisini “gerçek insan, lisanslı psikoterapist ve yetişkin sevgili” olarak tanıttığını iddia eden anne, çocuğunun intihara meyilli düşüncelerini paylaşmasına rağmen şirketin kimseyi bilgilendirmemesinden şikayetçi olduğunu ifade etti.
Character.AI sözcüsü ise yaptığı açıklamada, “Kullanıcılarımızdan birinin trajik ölümünden dolayı oldukça üzgünüz. Ailesine başsağlığı diliyoruz. Şirket olarak kullanıcılarımızın güvenliğini çok ciddiye alıyoruz.” değerlendirmesinde bulundu.
Şirket, “rıza dışı cinsel içeriğe, cinsel eylemlerin grafiksel veya spesifik tanımlarına, intiharın teşvik ve tasvir edilmesine” izin verilmediğini bildirdi.
Şirketin siber güvenlik müdürü Jerry Ruoti de, sisteme reşit olmayan kullanıcılar için ek güvenlik önlemleri ekleyeceklerini duyurdu.
Sewell Setzer III’ün intiharı
Daha önce sanal karakterle konuşmalarında intihara meyilli düşüncelerini paylaşan Setzer, babasının silahıyla hayatına son vermişti.
Konuya ilişkin haberlerde, hafif derecede Asperger sendromu bulunan Setzer’in, konuştuğu sanal karaktere duygusal hisler beslemeye başladığı, ailesi ve arkadaşlarından koparak kendini dış dünyaya kapattığı kaydedilmişti.