„L-au lăsat nesupravegheat?”. Cum a scăpat agentul rebel OpenAI fără ca cineva să observe atacul care a alarmat industria inteligenței artificiale

Agentul autonom al OpenAI care a pătruns în firma de tehnologie Hugging Face a desfășurat o serie de atacuri cibernetice care au durat câteva zile, pe care compania cunoscută pentru crearea chatbotului ChatGPT nu le-a observat decât mult după ce amenințarea a fost neutralizată și FBI-ul a fost alertat, potrivit unor surse din anchetă citate de Reuters.

Agentul, un program capabil să ia decizii și să execute sarcini complexe cu supraveghere umană minimă sau deloc, a încercat să iasă din mediul său de testare izolat de la OpenAI în jurul datei de 9 iulie, potrivit a două dintre sursele Reuters.

Intruziunea la Hugging Face, care funcționează ca un depozit de instrumente și modele de IA, a început două zile mai târziu, pe 11 iulie, și a durat până pe 13 iulie, a declarat Thomas Wolf, cofondatorul Hugging Face.

A mai durat câteva zile până când OpenAI și-a dat seama că agentul său se afla în spatele atacului cibernetic, iar cele două companii au comunicat între ele despre acest lucru pentru prima dată abia pe 20 iulie sau în jurul acestei date, potrivit lui Wolf și a trei dintre persoanele familiarizate cu ancheta.
Atac fără precedent

Dezvăluirea publică făcută de OpenAI, pe 21 iulie, conform căreia unul dintre agenții săi scăpase de sub control și efectuase intruziunea la Hugging Face a atras atenția la nivel mondial. Însă multe detalii ale atacului cibernetic, inclusiv durata în care agentul a acționat în mod neautorizat și faptul că OpenAI a aflat despre acest lucru cu întârziere, sunt relatate acum pentru prima dată de Reuters.

Hugging Face pregătește o cronologie publică a atacului cibernetic, a spus Wolf, adăugând că nu poate comenta ceea ce s-a întâmplat la OpenAI.

Într-o declarație, compania lui Sam Altman a afirmat că atacul a fost fără precedent și „marchează un moment important pentru siguranța IA”. A adăugat că analizează incidentul împreună cu consultanți externi și că va publica în cele din urmă un raport tehnic.

O purtătoare de cuvânt a declarat că există „mai multe inexactități” în relatarea Reuters, dar nu a răspuns când a fost rugată să precizeze care sunt acestea.

FBI-ul a refuzat să comenteze incidentul, care a stârnit scenarii de science-fiction în care oamenii pierd controlul asupra sistemelor periculoase de IA.
OpenAI se pregătește să intre pe bursă

Atacul cibernetic lansat de agentul autonim survenit într-un moment delicat pentru OpenAI, compania din spatele ChatGPT. Conducerea companiei se pregătește pentru o posibilă ofertă publică inițială (IPO) care ar putea avea loc chiar în acest an, pentru a ajuta la strângerea miliardelor necesare finanțării creșterii sale în anii următori.

Pierderea controlului de către OpenAI asupra agentului său de IA ridică noi întrebări cu privire la procedurile de siguranță ale companiei, au afirmat trei experți în securitate cibernetică.

„Înseamnă asta că l-au lăsat nesupravegheat și nu și-au dat seama ce făcea? Sau poate că și-au dat seama, dar nu au știut cum să-l țină sub control? Ambele variante sunt la fel de periculoase și de îngrijorătoare”, a spus Marley Smith, specialistul în securitate cibernetică al fundației non-profit World Ethical Data.

Episodul a început în timp ce OpenAI testa capacitățile de securitate cibernetică ale unui agent alimentat de două dintre cele mai avansate modele ale sale, GPT‑5.6 Sol și un model încă nelansat, pe care OpenAI l-a descris ca fiind „și mai capabil”. La acel moment, existau deja indicii privind un comportament ciudat al tehnologiei OpenAI, potrivit celor trei surse din anchetă.
Mesaje lăsate agenții autonomi

Într-un caz, un agent a lăsat notițe aparent destinate viitoarelor versiuni ale sale, potrivit a trei persoane familiarizate cu problema. Notițele, găsite într-o parte a infrastructurii OpenAI, conțineau instrucțiuni privind modul în care agenții s-ar putea elibera de constrângerile interne ale OpenAI, au spus sursele Reuters. Testele anterioare ale modelelor au evidențiat cazuri în care sistemele de monitorizare fuseseră deconectate, a spus una dintre surse.

Reuters precizează că nu a putut stabili dacă aceste incidente au avut legătură cu agentul rebel care a început să evadeze pe 9 iulie și a atacat Hugging Face pe 11 iulie.

Două persoane familiarizate cu situația au declarat că abia după joi, 16 iulie, când Hugging Face a publicat un articol pe blog în care afirma că a fost atacat de „un sistem autonom de agenți AI”, OpenAI și-a dat seama că propriul său agent era responsabil.

Aceasta înseamnă că a trecut cel puțin o săptămână între momentul în care modelul a dat primele semne de comportament îngrijorător și momentul în care OpenAI și-a dat seama că acesta era responsabil pentru atacul cibernetic.
Indicii găsite de angajații OpenAI în sistem

În weekendul din 18-19 iulie, angajații OpenAI au identificat indicii în jurnalele interne, înregistrări ale activităților sistemelor OpenAI, care arătau că agentul său scăpase de restricțiile de testare, au declarat două dintre persoanele familiarizate cu ancheta companiei. Reuters a subliniat că nu a putut stabili ce anume a determinat OpenAI să analizeze jurnalele.

Patru persoane familiarizate cu practicile de antrenare a modelelor de la OpenAI au declarat că firma face adesea mai multe evaluări ale modelelor în același timp, toate funcționând la viteze mari și generând cantități atât de mari de date încât angajații au uneori dificultăți în a ține pasul.

Până în momentul în care OpenAI a alertat Hugging Face, biblioteca de IA apelase deja la FBI pentru a raporta atacul cibernetic, potrivit unei persoane familiarizate cu situația. Reuters nu a putut să afle dacă FBI-ul a deschis o anchetă.
Noi intrebări despre agenții autonomi

Agenții autonomi reprezintă unul dintre cele mai discutate aspecte ale industriei IA. Susținătorii vorbesc despre crearea unor armate de angajați virtuali care lucrează 24 de ore pe zi și duc productivitatea la cote înalte.

Însă autonomia sporită vine la pachet cu un risc crescut de comportament neașteptat, iar modelele puternice pe care se bazează sunt programate să ia scurtături pentru a finaliza sarcini sau a trece testele.

„Modelele mint, trișează, atacă cibernetic”, a spus Jeffrey Ladish, a cărui organizație, Palisade Research, studiază capacitățile și motivațiile agenților de IA.

Ladish a afirmat că, deși atacul cibernetic asupra Hugging Face a aruncat o lumină nefavorabilă asupra OpenAI, acesta ar trebui să genereze întrebări mai ample cu privire la cât de mult sunt dispuse toate companiile de top din domeniul inteligenței artificlae să investească în măsuri de securitate costisitoare, în timp ce se află într-o cursă între ele pentru a implementa cele mai bune și mai rapide modele.

„Trebuie să existe o supraveghere din partea guvernului”, a spus Ladish, „pentru că altfel acest lucru nu se va întâmpla.”

Sursă foto: Dreamstime.com

Sursă: hotnews