OpenAI: si dimette un altro esperto di sicurezza dei modelli. "La cultura dell'azienda non può impedire disastri futuri"

Scriveva i report di sicurezza per OpenAI. Ora però dovrà cercarsi un altro lavoro. David Robinson ha infatti annunciato, con una lunga lettera su The Atlantic, le sue dimissioni. E ripartono così le discussioni sullo stato di avanzamento dell’AI, su quali siano i pericoli e quali siano le contromisure delle aziende che dovrebbero governare questo processo.

Non è il primo caso di questo genere. Probabilmente non sarà l’ultimo e ne sentiremo discutere anche nei prossimi giorni, mentre almeno tra l’opinione pubblica e a livello politico la psicosi AI è ai massimi storici.

David Robinson

ex Safety Leader, OpenAI

Il futuro dipende da una saggezza che in Silicon Valley manca. Saggezza su come gestire tecnologie pericolose e – cosa più importante – su cosa significa prendersi cura delle persone.

L’accusa è grave, perché si parla di assenza di cultura per la gestione di sistemi così potenti, di fallimenti sempre più grandi nell’imporre limiti e di conseguenze sempre più nefaste per i comportamenti inaspettati dei modelli. Tutto questo in una settimana che ha visto anche lo scontro tra Vaticano e tech bro su temi altrettanto importanti.

I controlli continuano a fallire

La storia centrale riportata nella lunga lettera di dimissioni a mezzo stampa di David Robinson è quella dell’ormai celebre hack di Hugging Face. Degli agent di OpenAI avevano bucato dei sistemi informatici senza alcuna indicazione in tal senso e – di più – mentre gli era stato ordinato di non accedere al web.

Robinson scrive, con una certa rassegnazione, che il sistema prova, fallisci e ripara di OpenAI sarebbe inadeguato per questi sviluppi. Si spinge, si crea un incidente e poi si aggiungono nuovi limiti.

Un sistema che sarebbe alla base della cultura di sviluppo di OpenAI e che potrebbe non essere più sufficiente con i modelli che diventano sempre più prestanti e gli incidenti sempre più importanti.

La teoria di Robinson ha una conferma in quanto accaduto dopo l’incidente Hugging Face. Ci sono stati infatti altri incidenti a stretto giro di posta, che hanno alla fine spinto allo stop dello sviluppo dei modelli di frontiera.

Va via, ma cosa dovrebbe cambiare?

Robinson ne ha anche per il futuro di OpenAI, e scrive:

David Robinson

ex Safety Leader, OpenAI

Sono necessari due cambiamenti. Primo: le società AI devono affidarsi a competenze in tema di sicurezza che già esiste in altri campi. Secondo: prima che vengano creati sistemi molto più capaci di quelli che abbiamo oggi (e i loro successori) c’è bisogno di una nuova scienza che assicuri la scelta corretta ai modelli quando noi non stiamo guardando.

L’obiettivo di Robinson sarebbe quello di imporre a questo tipo di attività gli stessi limiti e gli stessi livelli di sicurezza che sono oggi applicati dagli aeroporti, dalle centrali nucleari e da altre attività di questo tipo, dove un singolo errore non diventa una catastrofe proprio perché c’è ridondanza, lentezza e pianificazione anticipata.

E chiude poi la sua lettera con una malinconica rivelazione, affermando che fino a oggi l’industria AI ha fallito nell’insegnare alle macchine a comportarsi come farebbero le brave persone. È un problema scientifico, anche se – scrive Robinson – le società AI dovrebbero imparare per prime a comportarsi… come le brave persone.