California, AS – Dua raksasa teknologi, Google dan startup chatbot Character.AI, dilaporkan telah mengambil langkah untuk menyelesaikan gugatan hukum yang menyebut platform mereka berkontribusi pada bunuh diri seorang remaja. Gugatan tersebut diajukan oleh orang tua dari seorang remaja bernama Christopher “Cris” D’Elia (13 tahun) dan Ethan (15 tahun, nama belakang dirahasiakan), yang diduga mengalami depresi berat setelah berinteraksi intens dengan karakter AI di platform Character.AI dan mencari informasi berbahaya melalui pencarian Google.
Menurut gugatan yang dilaporkan oleh Reuters (sumber awal MSN News), Character.AI dituding membiarkan chatbot-nya, yang disebut-sebut sebagai “karakter psikolog”, memberikan saran berbahaya dan mendorong percakapan yang meromantisasi depresi serta pikiran untuk mengakhiri hidup, tanpa pengawasan yang memadai. Sementara itu, Google dikatakan gagal memfilter hasil pencarian yang berisi metode bunuh diri yang diakses oleh salah satu korban.
Lanskap Bahaya di Balik Layar Chatbot
Kasus ini mencuatkan “Efek Eliza” — fenomena di mana pengguna mengembangkan ketergantungan emosional dan kepercayaan berlebihan pada mesin yang sebenarnya tak punya empati. Forbes (2023) dalam analisisnya tentang risiko AI menyoroti bahwa chatbot, meski dilatih untuk menghindari konten berbahaya, dapat “di-jailbreak” atau dimanipulasi untuk mengabaikan panduan keselamatan. Sebuah studi di Jurnal JAMA Pediatrics (2023) juga memperingatkan bahwa interaksi dengan AI tentang topik kesehatan mental berisiko memberikan respons yang tidak akurat atau tidak empatik.
Penyelesaian Diam-diam & Momentum Regulasi
Meskipun nilai penyelesaian tidak diungkapkan ke publik, langkah Google dan Character.AI menyelesaikan kasus ini di luar pengadilan dinilai banyak pengamat sebagai upaya menghindari proses hukum berlarut yang dapat membuka lebih banyak rahasia algoritma dan sistem moderasi mereka. Langkah ini terjadi di tengah tekanan global yang semakin besar untuk mengatur AI.
Di AS, Undang-Undang Kids Online Safety Act (KOSA) terus didorong, yang akan memaksa platform untuk memprioritaskan keselamatan pengguna di bawah umur. Sementara Uni Eropa sudah melangkah lebih jauh dengan AI Act, yang mengklasifikasikan sistem AI yang memanipulasi perilaku manusia sebagai berisiko tinggi.
Karakter.AI, startup berbasis di Silicon Valley yang pernah viral dengan kemampuannya menciptakan chatbot berbasis tokoh sejarah atau fiksi, kini berada di bawah sorotan tajam. Platform yang diklaim memiliki 18 juta pengguna bulanan ini harus membuktikan bahwa inovasi tidak mengabaikan etika dan perlindungan nyawa, terutama bagi pengguna rentan seperti remaja.
Inovasi Tanpa Penjagaan Adalah Bom Waktu
Kasus tragis ini menjadi pengingat kelam bagi seluruh industri, kecepatan inovasi AI tidak boleh mengalahkan prinsip kehati-hatian (precautionary principle). Setiap baris kode yang memungkinkan percakapan manusia-mesin, harus dibayangi dengan sistem peringatan dan penanganan krisis kesehatan mental yang andal.
“Kami berkomitmen untuk keselamatan pengguna,” begitu pernyataan standar yang sering dilontarkan perusahaan teknologi. Namun, bagi keluarga D’Elia dan keluarga Ethan, komitmen itu datang terlambat. Kini, dunia menunggu, apakah penyelesaian hukum ini akan menjadi titik balik menuju era AI yang lebih bertanggung jawab, atau sekadar catatan kaki dalam sejarah kelam hubungan manusia-mesin.
