Koliko je ChatGPT pouzdan? Istraživanje pokazalo zabrinjavajući nivo netačnih informacija

18.05.2025. | 20:30

ChatGPT i slični AI modeli često se doživljavaju kao izuzetno inteligentni, ali istovremeno nepouzdani izvori informacija.

Nedavno istraživanje koje je sproveo OpenAI, a o kome je pisao The New York Times, osvjetljava ovu kontradiktornost. Naime, OpenAI je otkrio da njihovi najnoviji modeli, uključujući GPT-o3 i o4-mini, imaju povećanu sklonost ka generisanju „halucinacija“ – netačnih ili potpuno izmišljenih informacija.

ChatGPT i halucinacije

Najnoviji vodeći modeli OpenAI-ja, GPT o3 i o4‑mini, dizajnirani su da oponašaju ljudsku logiku. Za razliku od svojih prethodnika, koji su se uglavnom fokusirali na generisanje tečnog teksta, GPT o3 i o4‑mini bi trebalo da „razmišljaju korak po korak“. OpenAI se hvalio da o3 može da parira ili nadmaši rezultate doktora nauka iz oblasti hemije, biologije i matematike. Ali izvještaj OpenAI-ja otkriva zastrašujuće podatke za svakoga ko odgovore ChatGPT-a uzima kao nominalnu vrijednost, piše Index.hr.

Udio halucinacija je do 79%

OpenAI je otkrio da je GPT o3 halucinirao u trećini zadataka na benčmark testu o javnim ličnostima – duplo više od prošlogodišnjeg o1 modela. Kompaktniji o4‑mini bio je još gori, sa halucinacijama u 48% sličnih zadataka.

Kada su modeli testirani s opštim pitanjima iz SimpleKA testa, udio halucinacija skočio je na 51% u o3 i 79% u o4‑mini. Ovo nije samo mala greška u sistemu, već prava kriza identiteta. Pomislili biste da bi sistem koji se reklamira kao „razuman“ barem dvaput provjerio prije nego što bilo šta izmisli – ali to jednostavno nije slučaj.

„Možda su samo detaljniji u svojim odgovorima“

Jedna teorija koja kruži u zajednici vještačke inteligencije kaže da što više model „misli“, to ima više mogućnosti za greške. Za razliku od jednostavnijih modela koji se drže veoma pouzdanih predviđanja, racionalni modeli ulaze u oblast gdje moraju razmotriti više puteva, povezivati udaljene činjenice i u suštini improvizovati – a improvizacija s činjenicama često znači izmišljanje.

OpenAI je za Times rekao da povećan broj halucinacija možda ne potiče od greške u samim modelima. Umjesto toga, mogli bi jednostavno biti ekspanzivniji i „slobodniji“ u svojim odgovorima.

Modeli treba da budu korisni, a ne opasni

Budući da novi modeli ne ponavljaju samo predvidljive činjenice već spekulišu o mogućnostima, granica između teorije i izmišljenih činjenica za AI postaje zamagljena. Nažalost, neke od ovih „mogućnosti“ potpuno su odvojene od stvarnosti.

Međutim, više halucinacija je suprotno od onoga što žele OpenAI ili konkurenti poput Googlea i Anthropica. Nazivanje AI čatbota „pomoćnicima“ ili „kopilotima“ implicira da su korisni – a ne opasni. Advokati su već imali problema jer su koristili ChatGPT i nisu primijetili izmišljene sudske presedane. Ko zna koliko je ovakvih grešaka izazvalo teškoće u manje rizičnim situacijama?

Što se više koristi, manje je prostora za greške

Mogućnosti da halucinacije izazovu probleme brzo se šire kako AI ulazi u učionice, kancelarije, bolnice i državne službe. Napredna vještačka inteligencija može pomoći u pisanju prijava za posao, rješavanju problema s naplatom ili analizi tabela – ali paradoks je da što je AI korisnija, to ima manje prostora za greške.

Ne možete tvrditi da nekome štedite vrijeme i trud ako mora da provede isto toliko vremena provjeravajući sve što kažete. Ne zato što ovi modeli nisu impresivni – GPT o3 je pokazao nevjerovatne sposobnosti kodiranja i logike i u nekim stvarima nadmašuje mnoge ljude. Problem nastaje onog trenutka kada odluči da je Abraham Linkoln vodio podkast ili da voda ključa na 27°C – tada se raspršuje iluzija o pouzdanosti.

Dok se ovi problemi ne riješe, gledajte svaki odgovor AI modela s ogromnom dozom skepticizma. Ponekad ChatGPT pomalo liči na osobu koja je puna samopouzdanja dok priča gluposti – zaključuje se u izvještaju.