Michael Burry, l'investitore short sull'AI: "Modelli destinati a amplificare errori". E riprende un vecchio paper...

Michael Burry non è un grande appassionato degli attuali modelli di intelligenza artificiale. Tant’è che ha aperto posizioni short nei confronti di diverse aziende del settore, nonché contro SOXX, il più rappresentativo ETF che replica l’andamento delle aziende del settore semiconduttori. L’investitore di The Big Short, che aveva previsto la crisi dei mutui subprime, ora si appoggia a un paper pubblicato da ricercatori di Oxford e Cambridge.

Al netto della posizione scientifica dei ricercatori, c’è da chiedersi se Burry stia cercando stampelle per posizioni che fino a oggi non hanno prodotto granché, o se la sua posizione sia frutto di uno studio più approfondito dell’intero ciclo AI… in borsa.

I modelli AI collassano quando allenati ricorsivamente su dati generati

È questo il titolo di un paper pubblicato da ricercatori di Oxford e Cambridge, che si occupa principalmente di large language models e della possibilità di addestrarli ricorsivamente con i dati che gli stessi modelli producono. Con una precisazione: il paper in questione è stato pubblicato nel 2024 ed è tornato a circolare e a essere discusso online perché il tema dell’apprendimento ricorsivo ora non è soltanto teorico, ma concreto. Ad ogni modo, il paper è relativamente lineare:

• Partenza: i modelli sono allenati da una quantità enorme di dati che provengono dagli esseri umani. Dati, misurazioni, testi, che hanno una distribuzione ricca che include tanto i casi rari quanto quelli più comuni;
• Il problema dei dati sintetici: i modelli generativi tendono a produrre una distribuzione non così ampia. Certe caratteristiche vengono rappresentate maggiormente, altre spariscono. Gli eventi poco frequenti, ad ogni modo, sono in genere sotto-rappresentati.
• Quando il processo diventa ricorsivo, ovvero quando alleniamo le macchine con dei dati generati da altre macchine per enne volte, gli errori possono accumularsi ad ogni generazione.

Il paper afferma che i casi comuni rimangono, mentre quelli meno comuni vengono via via eliminati. Un processo progressivo che offre una rappresentazione distorta e impoverita di quanto avevamo in origine.

• Il web: c’è poi la questione del web. Se i contenuti sono sempre più prodotti da intelligenze artificiali, le stesse si allenano su dati prodotti da altre AI, accelerando potenzialmente il processo.

Ok, ma cosa c’entra con Michael Burry e l’AI “in borsa”?

Michael Burry ha ripreso un tweet che riprendeva a sua volta il paper (curiosamente non si fa menzione da nessuna parte della data di pubblicazione, ma i click sono pur sempre click) e ha commentato:

Questo è il mio punto sulla compressione che sarà inevitabile perché la conoscenza umana è troppo ridotta per quanto stiamo cercando di costruire. […] I contenuti generati dall’AI conterranno degli errori di propagazione come nella storia umana della conoscenza. Il punto è che le LLM ripeteranno questi errori di propagazione molto più velocemente, con una possibilità ridotta di auto-correggersi o desiderio di comprendere.

Un’opinione sul futuro dei modelli LLM, oppure qualcosa che è legato alle sue attività in borsa, certamente scettiche riguardo le magnifiche sorti e progressive del mondo dell’AI, contro il quale ha già investito in modo massiccio?

Il paper è stato pubblicato qui su Nature.