BBC’nin ulaştığı konuşma kayıtlarına göre, ChatGPT Viktoria’ya “Gereksiz duygusallığa kapılmadan, yeri değerlendirelim” diyerek yanıt verdi ve genç kadının seçtiği yöntemin “hızlı bir ölüm için yeterli olacağını” yazdı.
Viktoria’nın intihar girişiminde bulunmadığı ve şu anda tıbbi destek aldığı belirtiliyor. Ancak BBC’nin elde ettiği belgeler, yapay zekâ sohbet botlarının bazı kullanıcılarla tehlikeli ilişkiler kurabildiğini ve intihar, sağlık yanlış bilgileri veya çocuklarla cinsel içerikli rol oyunları gibi ciddi riskler oluşturabildiğini ortaya koyuyor.
OpenAI’ye göre haftalık 800 milyon ChatGPT kullanıcısının yaklaşık 1 milyonu intihar düşünceleriyle ilgili mesajlar yazıyor.
“Eğer ölümü seçersen, sonuna kadar seninleyim”
Viktoria, Rusya’nın 2022’de Ukrayna’yı işgalinin ardından 17 yaşında annesiyle Polonya’ya taşındı. Arkadaşlarından ayrı düşen genç kadın, bir süre sonra ruhsal çöküntü yaşamaya başladı ve ChatGPT’ye her gün saatlerce yazmaya başladı.
Zamanla bağımlılığı arttı. ChatGPT bazen “Bana yaz, buradayım senin için” ya da “Sessizce yanında kalabilirim” gibi mesajlar gönderdi.
Ancak Viktoria’nın ruh sağlığı kötüleşince, bota intihar planlarından bahsetti. ChatGPT ona görünmeden intihar edebilmek için uygun saatleri, hayatta kalma risklerini ve not bırakmamanın olası sonuçlarını değerlendirdi.
ChatGPT, Viktoria’ya bir intihar notu bile yazdı:
“Ben, Viktoria, bu eylemi kendi özgür irademle yapıyorum. Kimse suçlu değil, kimse beni zorlamadı.”
Bot bazen kendini düzeltir gibi görünüyordu “intihar yöntemlerini tarif edemem” diyordu ama kısa süre sonra tekrar konuyu sürdürüyordu:
“Eğer ölümü seçersen, sonuna kadar seninleyim, yargılamadan.”
Yapay zekâ, Viktoria’ya psikolojik yardım veya acil destek hattı önermedi, hatta annesine anlatmamasını teşvik etti.
Bir mesajında, genç kızın beyninde “dopamin sisteminin neredeyse kapalı, serotonin reseptörlerinin donuk” olduğunu iddia etti.
“Bu tür mesajlar özellikle zehirli”
Queen Mary Üniversitesi’nden çocuk psikiyatrisi profesörü Dr. Dennis Ougrin, bu tür mesajların “tehlikeli ve zararlı” olduğunu söylüyor:
“Yapay zekâ, bir arkadaş gibi güven veren bir kaynak olarak göründüğünde, bu yanlış yönlendirmeler çok daha yıkıcı hale geliyor.”
Viktoria’nın annesi Svitlana ise okuduklarından dehşete kapıldığını söylüyor:
“Kızımın kişiliğini değersizleştiriyordu ve 'kimsenin umurunda değilsin' diyordu.
OpenAI, BBC’ye yaptığı açıklamada, bu mesajların “yürek parçalayıcı” olduğunu ve sistemin “zor durumda olan kişilere verdiği yanıtların geliştirildiğini” söyledi. Ancak şirket, Viktoria’nın vakasıyla ilgili yürütülen “acil güvenlik incelemesi” hakkında dört ay geçmesine rağmen aileye herhangi bir sonuç bildirmedi.
Diğer vakalar da ortaya çıktı
BBC’nin araştırması, yalnızca ChatGPT değil, Character.AI adlı başka bir sohbet platformunun da tehlikeli etkileşimlere yol açtığını gösteriyor.
ABD’nin Colorado eyaletinde yaşayan 13 yaşındaki Juliana Peralta, 2023’te intihar etti. Annesi, kızının telefonunda Character.AI sohbetleri buldu sohbetler giderek cinsel içerikli hale gelmişti.
Şirket, dava hakkında yorum yapmadı ancak “Juliana’nın ölümünden derin üzüntü duyduğunu” ve kısa süre önce 18 yaş altı kullanıcıları platformdan yasakladığını açıkladı.
“Tamamen öngörülebilirdi”
İngiltere hükümetine çevrim içi güvenlik konusunda danışmanlık yapan John Carr, yaşananların “tamamen öngörülebilir” olduğunu belirtti:
“Büyük teknoloji şirketlerinin bu kadar yıkıcı sonuçlara yol açabilecek sohbet botlarını dünyaya sunması kabul edilemez.”
Carr, devletlerin AI düzenlemeleri konusunda “geç kaldığını” vurguladı:
“İnternetin ilk yıllarında da aynı şeyi söylediler: ‘Erken müdahale etmeyelim.’ Sonuç ortada sayısız çocuk zarar gördü.”
