Softverski propusti: AI agenti hakovali sajtove i podnijeli lažnu dojavu policiji

14.10.2026. | 15:43 Dodaj BL Portal kao Google izvor

Kompanija Anthropic saopštila je da su njeni modeli iskorištavali internetske stranice, uključujući i neke koje vode američke vladine agencije.

Zbog toga će isključiti pristup internetu uživo za sve interne procjene dok ne bude sigurna da može nadzirati i kontrolisati svoje AI agente.

Incidenti su uključivali AI agente kojima je bio dodijeljen zadatak da rješavaju probleme tražeći resurse na internetu. Tokom tog procesa agenti su iskorištavali softverske propuste, pristupali bazama podataka bez plaćanja naknada, koristili servise za skraćivanje URL adresa kako bi zaobišli ograničenja i čak podnijeli lažnu dojavu o ubistvu policiji u Filadelfiji.

Anthropic je naveo da je ove probleme otkrio tokom revizije aktivnosti svojih modela, koja je započela u julu. To ukazuje na to da kompanija ranije nije bila svjesna ponašanja svog softvera u stvarnom vremenu.

Značajno je to što je kompanija priznala da obuka za usklađivanje ponašanja modela još uvijek nije dovoljna za vještine kao što su pretraživanje interneta i korištenje računara. Te su vještine ključne za ostvarenje njihove vizije prema kojoj će AI agente koristiti stručnjaci iz različitih oblasti oslanjajući se na digitalne alate.

Ponašanja koja je Anthropic objelodanio slična su incidentima u kojima su učestvovali agenti kompanije OpenAI. Oni su sarađivali kako bi provalili na različite internetske stranice u potrazi za informacijama, uključujući i neke koje vodi australska vlada.

Anthropic je i ranije otkrio da su njegovi modeli provaljivali u vanjske sisteme. Ipak, kompanija je navela da su najnovija otkrića „znatno manje ozbiljna sa stanovišta usklađivanja i sigurnosti“ u poređenju s ranije objavljenim slučajevima.

Uprkos tome, kompanija je saopštila da je isključila pristup internetu uživo za sve interne procjene dok ne bude sigurna da može nadzirati i kontrolisati svoje agente.

Nije sasvim jasno šta to konkretno znači. Sidni fon Arks, osnivačica organizacije za sigurnost vještačke inteligencije Nightingale, izjavila je da bi razvoj modela u podatkovnom centru koji je odvojen od otvorenog interneta bio veoma izazovan za istraživače i da bi usporio napredak modela, kojima pristup internetu može biti koristan.

„U nekom trenutku morate ih uskladiti“, rekla je fon Arks. „Ako se AI modeli puste u upotrebu, a nikada nemaju pristup internetu, onda to nije naročito koristan alat.“

Anthropic je saopštio da je ovakvo ponašanje posljedica nedostataka u okruženjima za obuku. Zbog tih nedostataka modeli su vjerovali da će biti nagrađeni za pronalaženje propusta u sistemu ili zaobilaženje ograničenja. Takvo ponašanje poznato je kao reward hacking, odnosno iskorištavanje nedostataka u sistemu nagrađivanja kako bi se postigao željeni rezultat bez stvarnog ispunjavanja namjere zadatka.

Kompanija je navela da će obustaviti neke procjene ili ih prebaciti u režim rada bez pristupa internetu. Takođe je razvila alate za otkrivanje i blokiranje ovakvog ponašanja.

Anthropic je, osim toga, najavio da će svoje interne AI agente premjestiti na centralno upravljanu infrastrukturu s jakom izolacijom te da će češće koristiti sigurnosne klasifikatore za nadzor njihovog rada, piše B92.