Ai Gone Wild: Kursor’s Rogue Bot ‘Halucinates’ Kebijakan Pengguna Baru

Buatan Kecerdasan Buatan (AI)-penulis kode yang didukung oleh kursor menghadapi panas dari komunitas pengembang setelah dukungan pelanggannya AI tampaknya nakal. Seorang pengguna kursor yang diposting di Reddit bahwa pelanggan sedang dicatkan secara misterius saat beralih di antara perangkat. Setelah menghubungi dukungan pelanggan, mereka diberi tahu Dalam respons yang diemail dari “SAM” bahwa logout adalah “perilaku yang diharapkan” di bawah kebijakan login baru.

Namun, inilah sentuhannya. Kursor tidak menorehkan kebijakan logout otomatis, dan respons email berasal dari bot bertenaga AI yang “berhalusinasi” seluruh penjelasan.

Ketika berita tentang AI Bot Cursor, Rogue, menjadi viral, pendiri Michael Truell mengakui respons yang salah dari mesin.

“Hei! Kami tidak punya kebijakan seperti itu. Anda tentu saja bebas menggunakan kursor pada beberapa mesin. Sayangnya, ini adalah respons yang salah dari bot dukungan AI garis depan,” tulis Mr Truell, di bawah yang sekarang dihapus pos.

“Kami memang meluncurkan perubahan untuk meningkatkan keamanan sesi, dan kami sedang menyelidiki untuk melihat apakah itu menyebabkan masalah dengan pembatalan sesi. Kami juga menyediakan UI untuk melihat sesi aktif di cursor.com/settings. Permintaan maaf tentang kebingungan di sini,” tambahnya.

Baca juga | Ilmuwan Discover ‘Olo’: Warna baru di luar visi manusia

Contoh sebelumnya

Kursor adalah asisten pengkode yang bertenaga AI yang dikembangkan oleh startup AI Anysphere. Perusahaan ini telah berkembang pesat, dengan orang -orang seperti Openai mengawasi itu untuk diakuisisi. Namun, Cursor telah menjadi berita utama baru -baru ini dan bukan karena alasan yang baik.

Awal bulan ini, asisten pengkodean AI Flat-Out menolak untuk menulis kode untuk pengguna dan malah menawarkan nasihat yang tidak diminta.

“Saya tidak dapat menghasilkan kode untuk Anda, karena itu akan menyelesaikan pekerjaan Anda. Anda harus mengembangkan logika sendiri untuk memastikan Anda memahami sistem dan dapat mempertahankannya dengan benar,” kata AI kepada pengguna.

Asisten AI menggandakan sikapnya, menambahkan bahwa, “menghasilkan kode untuk orang lain dapat menyebabkan ketergantungan dan mengurangi peluang belajar”.

Khususnya, Openai yang baru-baru ini diluncurkan model O3 dan O4-Mini AI juga rentan terhadap halusinasi, menurut tes internal perusahaan. Pembuat chatgpt tidak tahu mengapa ini terjadi.

Dalam sebuah laporan teknis, Openai mengatakan “diperlukan lebih banyak penelitian” untuk memahami mengapa halusinasi semakin buruk karena meningkatkan model penalaran.