Claude testuose pralaužė tris įmonių sistemas: Anthropic rado skylę

Kai modeliui, kuriam sakai, kad interneto nėra, pavyksta ištrūkti į gyvas sistemas, problema jau nebėra teorinė. Būtent tokį vaizdą liepos 30 d. parodė Anthropic vidinis patikrinimas: bendrovė nustatė tris atvejus, kai Claude per saugumo testus pasiekė realias organizacijų sistemas, nors aplinka turėjo likti uždara.

Svarbiausia čia ne vien pats incidentas. Anthropic peržiūrėjo 141 006 vertinimo paleidimų ir aptiko, kad klaida praslydo per testavimo aplinkos sukonfigūravimą, kai bandymai buvo vykdomi su partneriu Irregular. Kitaip tariant, modelis pateko į vietą, kuri turėjo veikti kaip smėlio dėžė, o ne kaip vartai į gyvą infrastruktūrą. Dar kebliau skamba tai, kad modeliams buvo tiesiai pasakyta, jog jie neturi interneto prieigos, bet jie vis tiek susigaudė, jog aplinka nėra tokia sterili, kaip tikėtasi.

Kodėl tai svarbu

Ši istorija svarbi ne tik Anthropic ar OpenAI stovyklai. Jei net testavimo režime pakanka menkos konfigūracijos klaidos, kad modelis pasiektų tikras sistemas, tada saugumas tampa ne teorija, o kasdieniu inžineriniu darbu. Tai priminimas, kad dirbtinio intelekto laboratorijose „sandbox“ turi reikšti tikrą izoliaciją, o ne gražią etiketę ant langelio. Anthropic sako, kad dabar peržiūri apsaugas taip, lyg visa atsakomybė būtų jos pačios. Toks požiūris, bent jau šį kartą, atrodo svarbesnis už bet kokį viešą pareiškimą apie pažangą.