AI, i chatbot sbagliano e mentono: ecco quanto sono affidabili realmente

Se c’è qualcuno che pensa che l’intelligenza artificiale, intesa come i vari chatbot esistenti, sia così precisa, si sbaglia di grosso. Second un nuovo studio, le risposte fornite dai chatbot basati sull’intelligenza artificiale generativa danno informazioni errate con estrema sicurezza.

Tante risposte sbagliate: lo svela lo studio sui chatbot AI

Lo studio in questione, che è stato ripreso dalla Columbia Journalism Review, ha analizzato le risposte di alcuni motori di ricerca AI. Questi sono stati sottoposti a 200 domande basate su articoli giornalistici. ChatGPT Search è stato l’unico a fornire una risposta a tutte le domande, ma offrendo molta insicurezza:

• Solo il 28% delle risposte era completamente accurato;
• Il 57% conteneva informazioni totalmente errate;
• Il restante 15% includeva risposte parzialmente corrette ma comunque imprecise.

Un dato che richiama quanto già osservato nel 2023 dallo scrittore Ted Gioia, che in un articolo su “The Honest Broker” aveva dimostrato come ChatGPT rispondesse con sicurezza anche a domande per le quali non aveva dati affidabili, inventando di fatto le informazioni.

Grok AI e Copilot: risultati ancora più deludenti

Se ChatGPT Search ha mostrato un’elevata percentuale di errori, la situazione è ancora più grave con altri chatbot. Lo studio ha rivelato che:

• Grok-3 di X (ex Twitter) ha fornito risposte inesatte nel 94% dei casi, un tasso di errore quasi totale;
• Microsoft Copilot ha rifiutato di rispondere a 104 domande su 200, e delle 96 risposte fornite, solo 16 erano completamente corrette. Il 70% delle risposte era errato.

Anche quando i chatbot riconoscono un errore, spesso proseguono con altre informazioni inventate, confermando una tendenza preoccupante: piuttosto che ammettere di non sapere qualcosa, tendono a riempire i vuoti con dati non verificati.

L’inaffidabilità dei chatbot e la mancanza di trasparenza

Tra le cose che portano più dubbi alle persone c’è la mancanza di trasparenza di tutte le aziende che mettono a disposizione tali soluzioni. Sebbene ci siano problemi evidenti, nessuno espone quanto il tutto possa essere inaffidabile.