AI? Su finanza fino all'88% di errori. Vince modello di Anthropic, ma il test fa acqua da tutte le parti

C’è AI e AI per farsi aiutare nelle decisioni di denaro. Secondo quanto è stato riportato da uno studio di Saturn, anche i migliori modelli LLM, quelli di frontiera (commerciale), si sbagliano il più delle volte nel fornire risposte di carattere finanziario. Sono stati oggetto dello studio i modelli offerti da ChatGPT, Claude, Grok e anche Copilot. Media degli errori? Il 57%.

Chi lavora nelle grandi banche d’affari, come gestore di fondi e talvolta come consulente finanziario tirerà un sospiro di sollievo. E lo tirerà soprattutto ai piani più alti: quando infatti alle macchine intelligenti è stato chiesto qualcosa di più complesso, con più di un calcolo, gli errori sono arrivati in media all’88%.

Occhio al FUD

In realtà, al netto dei titoli, la questione è un po’ diversa. Saturn ha infatti sottoposto ai modelli:

• Circa 100 domande diverse su temi relativi al denaro;
• Con stesse domande sono state ripetute più volte;

Gli errori non riguardano solo i calcoli, ma anche questioni di carattere fiscale.

Secondo Amal Jolly, che è CEO di Saturn, in alcuni casi errori sulla fiscalità avrebbero causato importanti perdite finanziarie.

Milioni di persone stanno dando fiducia a questi modelli AI per consigli sul denaro, ma stanno ricevendo risposte sbagliate che possono essere molto costose.

In realtà, almeno secondo quanto ha riportato in una breve, Financial Times il grosso degli errori avrebbe riguardato questioni di carattere fiscale.

Se ci è consentita una battuta, le regole sono spesso così contorte da annientare le capacità di ragionamento anche di modelli molto evoluti.

Il miglior modello testato

Sempre secondo quanto riporta la ricerca di Saturn – il modello che ha compiuto meno errori è stato Opus 5, impostato in modalità reasoning, ovvero quello che consumerebbe più risorse.

Il modello in questione avrebbe commesso degli errori, comunque, nel 39% dei casi.

Perché dare poca importanza, per ora, allo studio

La metodologia non è delle più strutturate e per quanto l’allarme sia corretto in termini di mettere in guardia le persone dal fidarsi eccessivamente dei risultati offerti dai chatbot, dice poco della loro effettiva utilità.

Il caso dell’integrazione AI di Mexem ha ad esempio un’impostazione molto diversa. Si può integrare tramite MPC e consente di avere delle analisi di portafoglio, basandosi anche sullo storico, può effettuare stress test, può confrontare strategicamente delle posizioni e anche indicare posizioni con società simili.

Di più – può essere utile anche per generare report. E no, la macchina non decide da sola le operazioni, ma fa da supporto per decisioni che poi vengono comunque prese dall’investitore umano.

• Il contesto

La speranza è poi di poter osservare in dettaglio non solo le risposte, ma anche le domande offerte dallo studio. E poi, quanto contesto è stato davvero offerto alle LLM? Siamo proprio sicuri che siano così pessime in calcoli che, almeno da quanto emerge dallo studio, erano invero assai banali?