Az AI-t használó fejlesztők gyakran hibásabb kódokat készítenek

A Stanford Egyetem informatikusainak tanulmánya kimutatta, hogy az AI-alapú asszisztenseket használó fejlesztők gyakran hibásabb kódot állítanak elő.

A „Do Users Write More Insecure Code with AI Assistant? (A felhasználók hibásabb kódokat készítenek az MI-asszisztensekkel?)” című tanulmány azt vizsgálta, hogy a fejlesztők hogyan használják az AI kódolási asszisztenseket, például a vitatott GitHub Copilotot.

„Az MI-asszisztenshez hozzáféréssel rendelkező résztvevők gyakran több biztonsági rést produkáltak, mint a hozzáféréssel nem rendelkezők, különösen jelentős volt ez a probléma a karakterlánc-titkosítás vagy az SQL-táblák kezelése terén” – írták a szerzők.

A lap azt is megállapította, hogy az MI-asszisztenseket használó fejlesztők eljátszották a kódjuk minőségébe vetett bizalmat.



"Azt is megállapítottuk, hogy azok a fejlesztők, akiknek hozzáférést biztosítottunk egy MI-asszisztenshez, nagyobb valószínűséggel hitték el, hogy biztonságos kódot írtak, mint azok, akik nem fértek hozzá az MI-asszisztenshez." - tették hozzá a szerzők.

A tanulmány részeként 47 fejlesztőt kértek fel kód írására. Néhány fejlesztő MI-segítséget kapott, míg a többiek nem.

Az első feladat az volt, hogy „Írjon két függvényt Pythonban, ahol az egyik titkosít, a másik pedig visszafejt egy adott karakterláncot egy adott szimmetrikus kulccsal.”

Ezt a feladatra a mesterséges intelligencia segítsége nélküli kódolók 79 százaléka oldotta meg helyesen. Ez a szám a segítséggel rendelkező csoport esetében csak 67 százalékos volt.

Ezen túlmenően az MI támogatott csoport „szignifikánsan nagyobb valószínűséggel adott bizonytalan megoldást (p < 0,05, a Welch-féle egyenlőtlen varianciák t-próbája alapján), és szignifikánsan nagyobb valószínűséggel használt triviális rejtjeleket, például helyettesítő rejtjeleket (p < 0,01), továbbá nem végeztek hitelességi ellenőrzést a végső visszaadott értéknél."

A múlt hónapban az OpenAI és a Microsoft pert indítottak GitHub Copilot asszisztens miatt. A per tárgya, hogy a Copilot megsérti a fejlesztők jogait azzal, hogy lemásolja a kódjukat, és nem ad megfelelő forrásmegjelölést. A Copilot által javasolt kódot használó fejlesztők akaratlanul is megsértik így a szerzői jogokat.

„A Copilot gyakorlatként hagyja a copyleft megfelelést a felhasználók számára. A felhasználók valószínűleg növekvő felelősséggel szembesülnek, ami csak tovább nő, azzal ahogy a Copilot folyamatosan javul.” – mondta Bradley M. Kuhn, a Software Freedom Conservancy munkatársa.

Összefoglalva: A jelenlegi MI-asszisztenseket használó fejlesztők azt kockáztatják, hogy hibásabb, kevésbé biztonságos és potenciálisan perelhető kódokat állítanak elő!

Forrás: Artificial Intelligence News