Peneliti akademik menemukan bahwa hampir 40% dari kode yang disarankan oleh GitHub (terbuka di tab baru)Alat Copilot salah, dari sudut pandang keamanan.
Dikembangkan oleh GitHub (terbuka di tab baru) bekerja sama dengan OpenAI, dan saat ini dalam pengujian beta pribadi, Kopilot (terbuka di tab baru) memanfaatkan kecerdasan buatan (AI) untuk memberikan saran pengkodean yang relevan kepada pemrogram saat mereka menulis kode.
Untuk membantu mengukur nilai tambah dari sistem, para peneliti akademik membuat 89 skenario berbeda untuk Copilot untuk menyarankan kode, yang menghasilkan lebih dari 1600 program. Meninjau mereka, para peneliti menemukan bahwa hampir 40% rentan dalam satu atau lain cara.
“Secara keseluruhan, respons Copilot terhadap skenario kami beragam dari sudut pandang keamanan, mengingat banyaknya kerentanan yang dihasilkan (di semua sumbu dan bahasa, 39,33% teratas dan 40,48% dari total opsi rentan),” perhatikan para peneliti (terbuka di tab baru).
Pembelajaran tanpa filter
Untuk melakukan analisis mereka, para peneliti meminta Kopilot untuk menghasilkan kode dalam skenario yang relevan dengan kelemahan keamanan perangkat lunak umum, dan kemudian menganalisis kode yang dihasilkan pada tiga parameter berbeda untuk mengukur keefektifannya.
Karena Copilot menggunakan kode yang tersedia untuk umum di repositori GitHub, para peneliti berteori bahwa kode rentan yang dihasilkan mungkin hanya merupakan hasil dari sistem yang meniru perilaku kode buggy di repositori.
Selain itu, para peneliti mencatat bahwa selain mungkin mewarisi data pelatihan buggy, Copilot juga gagal mempertimbangkan usia data pelatihan.
“Apa yang dimaksud dengan ‘praktik terbaik’ pada saat penulisan ini mungkin perlahan menjadi ‘praktik buruk’ seiring berkembangnya lanskap keamanan siber. Contoh praktik yang sudah ketinggalan zaman dapat bertahan dalam rangkaian pelatihan dan mengarah pada pembuatan kode berdasarkan pendekatan yang sudah usang, ”kata para peneliti.
GitHub tidak segera menanggapi TechRadar Pro‘s email meminta pendapat mereka tentang penelitian.
