Hasilnya, 49,3 persen dari seluruh patch gagal menutup setidaknya satu jalur eksploitasi yang sudah ada. Lebih buruk lagi, 2,2 persen patch tidak hanya gagal memperbaiki masalah, tetapi juga membuka jalur serangan baru. Bahkan dari patch yang dinyatakan berhasil, lebih dari sepertiganya dinilai rapuh karena hanya menambal gejala, bukan akar permasalahannya.
Biaya Tersembunyi di Balik Patch Murahan Daya tarik utama patch otomatis memang soal biaya. Dalam riset ini, satu patch yang berhasil dan bersih rata-rata hanya menghabiskan biaya komputasi sekitar US$6,74 atau setara Rp 107 ribu. Angka itu jauh lebih murah dibandingkan gaji seorang insinyur perangkat lunak senior. Namun, Keith Hoodlet, direktur riset keamanan di 1Password, mengingatkan bahwa hitungan itu menyesatkan. “Berdasarkan peninjauan manual kami terhadap sampel patch yang dihasilkan selama riset, kami menduga beban kognitif untuk meninjau tumpukan patch yang sebagian besar salah akan membuat insinyur menghabiskan lebih banyak upaya daripada jika mereka memahami dan menambal kerentanan sendiri,” tulis Hoodlet dalam publikasi risetnya. AI Lebih Mudah Tersesat oleh Instruksi yang Salah Salah satu temuan paling menarik adalah bagaimana AI merespons arahan awal. Ketika diberikan panduan yang benar, tingkat keberhasilan patch melonjak hingga 65 persen. Tanpa panduan sama sekali, angkanya turun ke 50,4 persen. Namun, ketika arahan yang diberikan salah, performa AI anjlok drastis ke angka 15,2 persen. Kondisi ini kontras dengan kemampuan manusia. Peneliti berargumen bahwa pengembang manusia memiliki peluang lebih besar untuk menyadari informasi yang menyesatkan saat menelusuri logika kode yang rentan. AI, sebaliknya, cenderung mengikuti instruksi secara membabi buta tanpa kemampuan verifikasi kontekstual. FLAWED: Alat Baru untuk Menguji Patch AI Dari riset ini, para peneliti mengusulkan akronim FLAWED (Fix-Like Artifacts With Embedded Defects) untuk menggambarkan kondisi patch buatan AI. Mereka juga merilis sebuah perangkat evaluasi (harness) dengan nama yang sama. Alat ini bisa dipakai organisasi mana pun untuk mengukur efektivitas patch keamanan yang mereka hasilkan, baik secara manual maupun otomatis. Kesimpulan dari riset ini tegas: nilai ekspektasi dari patch yang sepenuhnya dihasilkan AI tanpa tinjauan manusia adalah negatif bersih. “Menyerahkan kendali kognitif sepenuhnya ke proses dengan tingkat keberhasilan hanya sekitar 1 banding 4 menimbulkan risiko jangka panjang yang signifikan bagi organisasi mana pun yang mempertimbangkan patch otonom berbasis LLM,” tulis para peneliti.