Upotreba AI koderskih asistenata postala je svakodnevica u radu mnogih programera, uz obećanja proizvođača da će oni ubrzati razvoj i povećati produktivnost. Međutim, rezultati novog RCT istraživanja pokazuju suprotan trend u projektima sa više od milion linija koda. Programeri koji su koristili AI radili su u proseku 19% sporije od kolega bez asistencije, a pritom su verovali da rade brže – čak 20% brže po sopstvenoj proceni.
Istraživanje je sprovedeno na 16 iskusnih programera, podeljenih u dve grupe. Radili su na velikim open-source repozitorijumima, sa zadacima koji uključuju otklanjanje bagova, dodavanje funkcionalnosti i refaktorisanje. Jedna grupa koristila je AI alat po izboru (najčešće Cursor), dok je druga radila bez pomoći veštačke inteligencije.
AI kod koji zahteva dodatno vreme i verifikaciju
Jedan od glavnih razloga za nižu efikasnost bio je taj što su programeri morali više puta da proveravaju, prilagođavaju i debaguju AI-generisani kod pre nego što bi došli do funkcionalnog rešenja. Iako bi se moglo očekivati da kod, za razliku od proznog teksta, ima manje „halucinacija“ i grešaka, praksa je pokazala suprotno.
Kako je još 2023. primetio istraživač Baldur Bjarnason, svaki AI izlaz je oblik halucinacije, a ljudi su skloni da mu veruju. U softverskom kontekstu to znači da rešenje može biti formalno ispravno, ali potpuno neadekvatno u okviru celog sistema – nesigurno, neoptimizovano ili van konteksta arhitekture projekta.
Usprkos komercijalnim benchmark rezultatima, usporenje je zabeleženo kroz sve tipove zadataka. Autori studije napominju da bi dugotrajnije korišćenje jednog konkretnog alata moglo poboljšati rezultate, ali i da je tehnologija daleko od zrelosti.
Interesantno je da je Microsoft nedavno objavio da AI piše između 30 i 40% novog koda u njihovim projektima. Skeptici smatraju da bi upravo taj procenat mogao postati problem u budućnosti, jer će neko morati da ukloni, ispravi i optimizuje sav kod koji je generisan bez potpunog razumevanja konteksta.
„Za nekoliko godina, kada AI balon splasne… neko će biti plaćen da popravi sav taj nered“, zaključuje Bjarnason.
0 komentara