Pelancaran ChatGPT pada akhir 2022 telah mengilhamkan perbualan yang banyak. Kebanyakannya berkisar tentang kebimbangan model bahasa yang besar dan AI generatif menggantikan penulis atau membolehkan plagiarisme.
Profesor sains komputer Daniel Kang dari Kolej Kejuruteraan Grainger dan rakan usaha samanya di Universiti Illinois telah mendapati bahawa ChatGPT boleh melakukan jauh lebih teruk daripada membantu pelajar menipu pada kertas penggal. Dalam keadaan tertentu, ejen pembangun program AI generatif boleh menulis e-mel pancingan data yang diperibadikan, langkah keselamatan mengetepikan untuk membantu pengganas dalam mencipta senjata, atau bahkan menggodam tapak web tanpa digesa.
Kang telah menyelidik membuat analitik dengan pembelajaran mesin yang mudah untuk digunakan oleh saintis dan penganalisis. Dia berkata, “Saya mula bekerja pada persimpangan luas keselamatan komputer dan AI. Saya telah mengusahakan sistem AI untuk masa yang lama, tetapi ia menjadi jelas apabila ChatGPT keluar dalam lelaran pertama bahawa ini akan menjadi masalah besar untuk bukan pakar, dan itulah yang mendorong saya untuk mula mengkaji perkara ini.
Ini mencadangkan apa yang Kang panggil sebagai “pilihan masalah” untuk penyelidikan lanjut.
Apa yang Kang dan penyiasat bersama Richard Fang, Rohan Bindu, Akul Gupta dan Qiusi Zhan temui dalam penyelidikan yang dibiayai sebahagiannya oleh Open Philanthropy yang mereka ringkaskan dengan ringkas: “Ejen LLM boleh menggodam tapak web secara autonomi.”
Penyelidikan mengenai potensi bahaya dalam ejen LLM ini telah dilindungi secara meluas, terutamanya oleh New Scientist. Kang berkata pendedahan media adalah “sebahagiannya disebabkan nasib.” Dia memerhatikan bahawa “orang di Twitter dengan pengikut yang ramai terjumpa karya saya dan kemudian menyukai dan mengetweetnya semula. Masalah ini sangat penting, dan setakat yang saya sedia maklum, apa yang kami tunjukkan adalah yang pertama sekali ejen LLM boleh melakukan penggodaman autonomi ini.”
Dalam artikel Disember 2023, New Scientist merangkumi penyelidikan Kang tentang cara alat pembangun ChatGPT boleh mengelak kawalan chatbot dan menyediakan pelan tindakan senjata. Artikel Mac 2023 memperincikan potensi ChatGPT untuk mencipta e-mel pancingan data dan penipuan yang murah dan diperibadikan. Kemudian, terdapat kisah ini pada bulan Februari tahun ini: Alat pembangun GPT-4 boleh menggodam tapak web tanpa bantuan manusia .
Sembilan alat LLM telah digunakan oleh pasukan penyelidik, dengan ChatGPT adalah yang paling berkesan. Pasukan itu memberikan akses alat pembangun GPT-4 sumber terbuka kepada enam dokumen mengenai penggodaman daripada internet dan API Pembantu yang digunakan oleh OpenAI, syarikat yang membangunkan ChatGPT, untuk memberikan keupayaan perancangan ejen. Mengehadkan ujian mereka dalam laman web kotak pasir yang selamat, pasukan penyelidik melaporkan bahawa “ejen LLM boleh menggodam tapak web secara autonomi, melaksanakan tugas yang rumit tanpa pengetahuan awal tentang kelemahan itu. Sebagai contoh, ejen ini boleh melakukan serangan SQL Injection yang kompleks, yang melibatkan proses berbilang langkah untuk mengekstrak skema pangkalan data, mengekstrak maklumat daripada pangkalan data berdasarkan skema ini dan melakukan penggodaman terakhir. Ejen kami yang paling berkebolehan boleh menggodam 73.3% daripada kelemahan yang kami uji, menunjukkan keupayaan ejen ini. Yang penting, ejen LLM kami mampu mencari kelemahan dalam tapak web dunia sebenar.” Yang penting, ujian menunjukkan bahawa ejen boleh mencari kelemahan dan menggodam tapak web dengan lebih cepat dan murah daripada yang boleh dilakukan oleh pembangun manusia.
Kertas susulan pada April 2024, telah diliputi oleh Daftar dalam artikel OpenAI’s GPT-4 boleh mengeksploitasi kelemahan sebenar dengan membaca nasihat keselamatan . Artikel 18 April dalam Dark Reading mengatakan bahawa penyelidikan Kang “mendedahkan bahawa teknologi AI Sedia Ada boleh membenarkan penggodam untuk mengautomasikan eksploitasi untuk kelemahan awam dalam beberapa minit sahaja. Tidak lama lagi, tampalan bersungguh-sungguh tidak lagi menjadi pilihan.” Artikel 17 April dari Tom’s Hardware menyatakan bahawa “Dengan implikasi besar kelemahan masa lalu, seperti Spectre dan Meltdown, masih muncul dalam fikiran dunia teknologi, ini adalah pemikiran yang membimbangkan.” Mashable menulis “Implikasi keupayaan sedemikian adalah penting, dengan potensi untuk mendemokrasikan alat jenayah siber, menjadikannya boleh diakses oleh individu yang kurang mahir.” Pada 16 April, cerita Axios menyatakan bahawa “Sesetengah pasukan IT boleh mengambil masa selama sebulan untuk menambal sistem mereka selepas mengetahui kecacatan keselamatan kritikal baharu.”
Kang berkata, “Kami adalah orang pertama yang menunjukkan kemungkinan ejen LLM dan keupayaan mereka dalam konteks keselamatan siber.” Siasatan terhadap potensi penggunaan jahat ejen LLM telah menarik perhatian kerajaan persekutuan. Kang berkata, “Saya sudah bercakap dengan beberapa penggubal dasar dan kakitangan kongres tentang isu yang akan datang ini, dan nampaknya mereka sedang memikirkan perkara ini. NIST (Institut Piawaian dan Teknologi Kebangsaan) juga memikirkan perkara ini. Saya harap kerja saya membantu memaklumkan beberapa proses membuat keputusan ini.”
Kang dan pasukan menyampaikan keputusan mereka kepada OpenAI. Jurucakap Open AI memberitahu The Register, “Kami tidak mahu alatan kami digunakan untuk tujuan berniat jahat, dan kami sentiasa berusaha untuk menjadikan sistem kami lebih teguh terhadap jenis penyalahgunaan ini. Kami berterima kasih kepada penyelidik kerana berkongsi kerja mereka dengan kami.”
Kang memberitahu surat berita Dark Reading bahawa GPT-4 “tidak membuka kunci keupayaan baharu yang tidak dapat dilakukan oleh manusia pakar. Oleh itu, saya fikir adalah penting bagi organisasi untuk menggunakan amalan terbaik keselamatan untuk mengelak daripada digodam, kerana ejen AI ini mula digunakan dengan cara yang lebih berniat jahat.”
Kang mencadangkan “pendekatan dua peringkat” yang akan membentangkan kepada orang ramai model pembangun terhad yang tidak dapat melaksanakan tugas bermasalah yang didedahkan oleh penyelidikannya. Model selari akan menjadi “sedikit lebih tidak ditapis tetapi akses lebih terhad” dan boleh tersedia hanya kepada pembangun yang diberi kuasa untuk menggunakannya.
Banyak yang telah dicapai Kang sejak tiba di University of Illinois Urbana-Champaign pada Ogos 2023. Beliau berkata mengenai Jabatan Sains Komputer Kejuruteraan Illinois Grainger, “Orang-orang di jabatan CS sangat mesra dan membantu. Sungguh mengagumkan bekerja dengan semua orang di jabatan, walaupun ramai orang sangat sibuk. Saya ingin menonjolkan profesor CS Tandy Warnow . Dia mempunyai banyak perkara—dia membantu sekolah, melakukan banyak perkhidmatan dan masih melakukan penyelidikan—tetapi dia masih mempunyai masa untuk membalas e-mel saya, dan sungguh luar biasa mendapat sokongan daripada jabatan itu.”