Kako Ai generativne platforme u sebe “usisavaju” sve veće količine podataka i povezuju se sa više i više korporativnih baza podataka, stručnjaci polako počinju da aktiviraju alaram kako bi skrenuli pažnju na jednu važnu stvar – ovi alati su izuzetno neprecizni i polako počinju da budu sve zatvoreniji.
Veliki jezički modeli (LLM), algoritamske platofrme na kojima se generativni AI alati kao što je ChatGPT grade, izuzetno su neprecizni kada su povezani sa korporativnim bazama podataka i sve manje transparentni u svom radu, tvrde dva nova istraživanja.
Studija Stenford univerziteta pokazala je da dok veliki jezički modeli nastavljaju da upijaju masivne količine informacija i rastu, postaje sve teže pratiti izvore tih podataka. Zauzvrat, to kompanijama otežava da saznaju da li mogu da bezbedno kreiraju aplikacije koje koriste komercijalne genAI modele, dok istražvači ne mogu biti sigurni da su podaci koje dobijaju za svoja istraživanja precizni.
Takođe, sve ovo otežava i zakonodavcima da dizajniraju smislene zakone koji bi zauzdali moćnu tehnologiju, tvrdi ovo istraživanje.
Veliki jezički modeli kao što su GPT, LLAMA i DALL-E, pojavili su se tokom protekle godine i transformisali veštačku inteligenciju, pružajući mnogim kompanijama priliku da sa njima eksperimentišu i poboljšaju svoju produktivnost i efikasnost. Međutim, sve te prednosti dolaze sa određenom dozom nesigurnosti.
Transparentnost i odgovornost u AI tehnologiji
„Transparentnost je ključan preduslov za bilo kakvu javnu odgovornost, naučne inovacije i efikasno regulisanje digitalnih tehnologija. Manjak transparentnosti oduvek je bio problem sa kojm su se suočavali korisnici digitalnih tehnologija“, izjavio je Rishi Bommasani, vođa istraživanja.
Primera radi, OpenAI, koji u svom imenu sadrži reč „open“ (otvoren), jasno je stavio do znanja da neće biti transparentan kada su u pitanju brojni aspekti GPT-4 modela, naglasili su istraživači Stenford univerziteta.
Ocena transparentnosti jezičkih modela
Kako bi procenili nivo transparentnosti, istraživači su oformili tim koji je uključivao saradnike sa MIT i Prinston univerziteta, kako bi razvili sistem bodovanja nazvan Foundation Model Transparency Index. Ovaj sistem procenjuje 100 različitih aspekata ili indikatora transparentnosti, uključujući i način na koji neka kompanija kreira osnovni model, ako on radi i kako se koristi.
Istraživanje je ocenjivalo 10 jezičkih modela, a rezultati su pokazali da je srednja ocena transparentnosti bila svega 37%.
Najvišu ocenu dobio je LLAMA (52%), a potom slede GPT-4 (48%) i PaLM 2 (47%).
„Ako nemate transparentnost, regulatorna tela ne mogu da postavljaju prava pitanja, a kamoli da nešto preduzmi“, dodao je Bommasani.
Sa druge strane, gotovo 95% šefova vetuje da njihovi zaposleni regularno koriste genAI alate, dok 53 odsto njih veruje da oni sada praktično vode određene sektore unutar kompanije, pokazalo je istraživanje koje je sproveo Kaspersky Lab.
Rezultati su pokazali i da gotovo 59% odsto direktora poseduje određenu dozu zabrinutosti u vezi sa bezbednosnim rizicima koje ovi modeli nose sa sobom i načinom na koji bi oni mogli da ugroze osetljive kompanijske podatke.
Problem sa ovim jezičkim modelima ide znatno dublje od puke transparentnosti jer je i preciznost njihovih podataka dovedena u pitanje.
Preciznost i pouzdanost jezičkih modela
Juan Sequeda, glavni istraživač data.world AI laboratorije, izjavio je da je njegova kompanija testirala jezičke modele povezane sa SQL bazama podataka tražeći od njih odgovore na specifična pitanja u vezi sa kompanijom.
Rezultati su pokazali da su u svega 22% slučajeva dobijali tačne odgovore, dok su gotovo sva pitanja koja su zahtevala napredne odgovore dobila netačne odgovore.
Nedostatak odgovarajućih text-to-SQL benčmark testova koji su skrojeni po potrebama poslovnih korisnika može da utiče na davanje tačnih odgovora ovih velikih jezičkih modela.
Strategije za poboljšanje tačnosti i upravljanje rizikom
Već sada je vidljivo da im nedostaje interni poslovni kontekst određene kompanije, a to je jedna od ključnih stvari koja garantuje preciznost i tačnost odgovora.
Sa druge strane, kompanije ulažu milione dolara u cloud skladištenje podataka, poslovnu inteligenciju, alate za vizualizaciju i ELT i ELT sisteme, kako bi mogle da bolje upravljaju podacima. Mogućnost korišćenja jezičkih modela za postavljanje pitanja u vezi sa tim podacima otvara velike prilike za unapređivanje ključnih procesa kao što su ključni indikatori performansi i strateško planiranje.
Ovo istraživanje bilo je fokusirano isključivo na GPT-4, a preciznost dobijenih podataka iznosila je svega 16%.
„Podaci koje smo dobili uopšte nisu ohrabrujući. Šta se dešava kada pred bordom direktora koristite netačne cifre, ili pred istražnom komisijom? Cena te nepreciznosti mogla bi da bude izuzetno visoka“, izjavio je Sequeda.
Problem sa ovim jezičkim modelima leži u činjenici da su u pitanju statističke mašine koje predviđaju sledeću reč na osnovu reči koje su bile pre nje. Ova predviđanja bazirana su na šablonima posmatranja kompletnog interneta, Zbog toga, rezultati koje će dati će biti mogući, ali i neprecizni, pogotovo ako nikada ranije nisu uočili šablon koji je vezan za neku specifičnu kompaniju.
Tačnost velikih jezičkih modela (LLM) povećava se na 54% kada se postavljaju pitanja preko reprezentacije baze podataka SQL preduzeća u obliku grafikona znanja.
"Zbog toga, ulaganje u prućžaoce ove usluge obezbeđuje veću tačnost sistema za odgovaranje na pitanja koji koriste LLM", rekao je Sequeda. "Još uvek nije jasno zašto se ovo dešava, jer ne znamo šta se dešava unutar LLM-a.
"Ono što znamo je da, ako LLM-u pružite upit sa ontologijom mapiranom unutar grafikona znanja, koji sadrži ključni poslovni kontekst, tačnost je tri puta veća nego kada to ne učinite", nastavio je Sequeda. "Međutim, važno je postaviti pitanje, šta znači 'dovoljno tačno'?"
Da bi povećale mogućnost tačnih odgovora od LLM-a, kompanije moraju da imaju "snažnu osnovu podataka", ili ono što Sequeda i drugi nazivaju podacima spremnim za veštačku inteligenciju; to znači da su podaci mapirani unutar grafikona znanja kako bi se povećala tačnost odgovora i obezbedila objašnjivost, "što znači da možete naterati LLM da pokaže svoj rad".
Još jedan način da se poveća tačnost modela je korišćenje malih jezičkih modela (SLM) ili čak specifičnih jezičkih modela neke industrije (ILM).
"Mogu zamisliti budućnost u kojoj svako preduzeće koristi nekoliko specifičnih LLM-ova, svaki podešen za određene vrste pitanja", rekao je Sequeda.
Za sada, pristup i dalje ostaje isti: predviđanje sledeće reči. Ta predikcija može biti precizna, ali uvek će postojati šansa i da će ona biti pogrešna.
Svaka kompanija mora da se postara da pruži nadzor i regulaciju ovih sistema kako bi sprečila da osetljivi podaci budu ugroženi od strane modela koji nisu precizni.
0 komentara