I modelli di intelligenza artificiale generativa hanno mostrato di saper compiere azioni straordinarie, come scrivere testi, risolvere calcoli complessi o generare poesie. Tuttavia, un recente studio ha messo in luce un limite significativo nelle capacità di questi sistemi, in particolare quando si tratta di fornire indicazioni stradali. Sebbene i modelli AI sembrino capaci di generare indicazioni precise, a uno sguardo più attento emerge una realtà più complessa: la loro “comprensione” del contesto e delle regole del mondo fisico è ben lontana dall’essere accurata.
Lo studio ha preso in considerazione proprio la capacità dell’AI di generare indicazioni stradali, come se avesse una conoscenza precisa delle città. I risultati hanno però rivelato che, sebbene le indicazioni sembrino dettagliate, i modelli non possiedono una vera e propria rappresentazione della geografia urbana. Ad esempio, quando è stato testato un modello su New York, sono emerse mappe distorte, con strade inesistenti o mal collegate. I ricercatori hanno notato che quando le condizioni cambiano, come nel caso di deviazioni o chiusure stradali, la performance dell’AI peggiora drasticamente. Questo dimostra che i modelli non si basano su una mappa del mondo reale, ma su dati preesistenti che non riflettono fedelmente le variabili concrete della realtà.
Per affrontare queste limitazioni, gli studiosi hanno sviluppato nuove metriche per valutare la coerenza dei modelli di AI. Tra queste, la Sequence Distinction, che verifica la capacità del modello di distinguere tra situazioni simili ma differenti, e la Sequence Compression, che misura la capacità di riconoscere situazioni identiche e fornire risposte coerenti. Questi strumenti, ancora in fase di perfezionamento, rappresentano uno sforzo concreto per comprendere quanto un modello AI sia in grado di rappresentare in modo preciso il mondo. L’obiettivo finale è applicare queste metriche a sfide scientifiche reali, dove una comprensione più profonda delle capacità e dei limiti dell’AI può rivelarsi cruciale.