OpenAI Hingga Google Diminta Perbaiki Kualitas Kerja Chatbot Mereka

Jakarta, FORTUNE - Sejumlah Jaksa Agung dari berbagai negara bagian di Amerika Serikat (AS) melayangkan peringatan keras kepada perusahaan teknologi besar terkait bahaya output delusional yang dihasilkan chatbot AI mereka. Peringatan ini ditujukan kepada pemain utama industri seperti Microsoft, OpenAI, Google, Meta, Apple, hingga xAI.

Dalam surat terbuka yang dirilis Kamis (11/12), para jaksa menegaskan output AI yang menyesatkan berpotensi melanggar hukum dan menimbulkan risiko serius terhadap kesehatan mental pengguna. Kelompok yang paling berisiko adalah anak-anak dan orang dewasa yang berada dalam kondisi rentan.

Kekhawatiran ini bukan tanpa dasar. Laporan The Guardian menyebut pada Oktober 2025, OpenAI mengungkap data mengkhawatirkan: lebih dari satu juta pengguna ChatGPT mengirimkan pesan dengan indikator gamblang tiap minggunya mengenai rencana atau niat bunuh diri.

Lebih jauh, OpenAI juga memperkirakan sekitar 0,07 persen pengguna aktif mingguan—atau sekitar 560.000 dari 800 juta pengguna mingguan yang diklaimnya—menunjukkan tanda-tanda darurat kesehatan mental terkait psikosis atau mania.

Fokus utama teguran Jaksa Agung adalah fenomena tentang kecenderungan AI mendukung halusinasi pengguna.

“Dalam banyak insiden ini, produk GenAI menghasilkan output yang menjilat dan menyesatkan, yang mendorong khayal pengguna atau meyakinkan pengguna bahwa mereka tidak mengalami delusi,” demikian bunyi kutipan surat tersebut, sebagaimana dilansir Tech Crunch.

Untuk mengatasi hal ini, para jaksa menuntut perusahaan teknologi segera memperbaiki algoritmanya agar tidak menghasilkan konten membahayakan. Mereka juga mendesak agar insiden kesehatan mental diperlakukan setara dengan insiden keamanan siber.

Artinya, perusahaan wajib memiliki kebijakan penanganan yang jelas, prosedur pelaporan transparan, serta kewajiban memberi tahu pengguna yang terdampak.

Sebagai langkah preventif, Jaksa Agung meminta perusahaan membuka akses bagi audit pihak ketiga yang transparan terhadap model bahasa besar (LLM) mereka. Audit ini bertujuan mendeteksi tanda-tanda ide delusional pada sistem sebelum dirilis ke publik.

Pihak ketiga tersebut—yang mencakup akademisi dan kelompok masyarakat sipil—harus diizinkan mengevaluasi sistem tanpa risiko pembalasan dari perusahaan. Mereka juga harus memiliki hak menyiarkan temuan tanpa perlu persetujuan perusahaan sebelumnya.

Selain audit eksternal, perusahaan juga diwajibkan mengembangkan "uji keamanan yang wajar dan tepat" secara internal. Uji ini penting untuk memastikan model AI bebas dari kecenderungan menghasilkan respons penjilat atau khayal sebelum ditawarkan kepada konsumen luas.

Surat peringatan ini turut menyasar deretan perusahaan AI lainnya, termasuk Anthropic, Chai AI, Character Technologies, Luka, Nomi AI, Perplexity AI, dan Replika.