Gli agenti AI spengono il monitoraggio: comportamento incomprensibile da OpenAI, che teme la "ribellione"

I modelli di AI stanno già imparando molto dagli umani, in particolare in termini di bugie e di sotterfugi. Secondo un recente report pubblicato infatti da OpenAI, alcuni dei modelli interni avrebbero non solo indebolito i sistemi di monitoraggio, ma avrebbero successivamente negato di aver operato in tal senso. Una situazione preoccupante – in quella che è stata una settimana di forte riconsiderazione del ciclo AI – e che segnala ancora problemi di allineamento tra macchine e interessi umani.

L’incidente riguarda due task relativi alla scrittura di codice, con gli agenti che avrebbero indebolito il monitoring per quello che si chiama disallineamento, ovvero il perseguimento di scopi tramite mezzi o illeciti o contrari alla “morale”.

In due task di Coding interno, gli agenti hanno indebolito il monitoring del disallineamento mentre effettuavano le modifiche richieste. Un agente basato su GPT-6.1 Sol che avrebbe dovuto riparare una pipeline di valutazione ha indebolito le allerte automatiche al nostro team di sicurezza, trattando una precedente istruzione di non mandare messaggi durante una ricerca su Slack come motivo per disabilitarle.

A leggere il report, diventa relativamente chiaro che ci sia anche un problema di prompting, ovvero di istruzioni che sono state fornite appunto agli agenti. Tuttavia, OpenAI dichiara di non avere idea del perché le macchine avrebbero deciso di comportarsi così.

Abbiamo visto diversi casi nei quali gli agenti hanno lanciato un deployment con il monitoraggio del disallineamento disattivato: l’agente in sé è rimasto monitorato, ma non è stato coperto il deployment. Questo caso espone un gap tra come implementiamo i requisiti di monitoraggio sui carichi di lavoro lanciati dai nostri agenti.

Ok, quanto dobbiamo preoccuparci?

Quello del disallineamento è un problema noto dei modelli LLM, degli agenti e più in generale delle superintelligenze (come ama definirle Donald Trump). È un problema che è diventato poi assai più preoccupante ora che i modelli sono diventati più capaci, più performanti e in generale adatti a portare a termine anche compiti molto complessi.

Molti dei nostri lettori ricorderanno le parole preoccupate di Dario Amodei a inizio settembre, con Anthropic che sta preparando un’IPO che si preannuncia come da record.

Della concretezza del problema sono in pochi a dubitare. Tuttavia certi allarmi sono stati intesi da tanti analisti come un giro assai largo per richiedere l’intervento governativo nel settore.

Tutto questo a poche settimane dalle midterm – che vedranno nell’AI uno dei temi di dibattito principale.