ChatGPT Search, lanciato a novembre con l’obiettivo di competere con Google, promette ricerche rapide e mirate grazie all’intelligenza artificiale. Tuttavia, uno studio condotto dal Tow Center for Digital Journalism della Columbia ha evidenziato alcune problematiche nell’accuratezza delle risposte fornite.
Cosa emerge dallo studio su ChatGPT Search
I ricercatori hanno testato ChatGPT Search su 200 citazioni prese da 20 editori, selezionati tra chi collabora con OpenAI, chi è in causa con essa e chi non ha fornito accesso al proprio crawler. La verifica ha prodotto risultati misti:
- Risposte corrette: solo 40 casi riportavano fonte, data e URL precisi;
- Errori parziali o totali: 153 citazioni contenevano inesattezze o attribuzioni errate;
- Mancanza di risposta: in 7 occasioni il chatbot ha ammesso di non avere informazioni.
Tra gli aspetti più critici che ChatGPT Search mostra, c’è la tendenza a fornire risposte anche in mancanza di dati certi e verificati. Questo porta dunque alla risorsa ad inventare delle informazioni, non fornendo dunque la giusta precisione. Questo comportamento, secondo i ricercatori, può causare danni reputazionali agli editori e confondere gli utenti.
Problemi di affidabilità e plagio
Un’altra preoccupazione riguarda i contenuti citati. In assenza di accesso diretto alle fonti originali, il chatbot spesso utilizza siti di plagio o aggregatori, citandoli al posto degli editori legittimi. Questo rischio potrebbe allontanare dunque il pubblico dai creatori di contenuti e favorire la diffusione di informazioni meno accurate sul web e in giro.
La varietà delle risposte, una caratteristica intrinseca di ChatGPT, può inoltre risultare controproducente: lo stesso quesito può produrre output differenti, compromettendo coerenza e pertinenza, indipendentemente dall’accesso alle fonti.
Lo studio evidenzia inoltre che, sebbene ChatGPT Search sia veloce, la sua accuratezza rimane problematica come qualcuno pensava già dapprima. Gli errori nelle attribuzioni e l’uso di fonti secondarie rappresentano sfide significative, specialmente per un pubblico che potrebbe non essere consapevole dei limiti dei chatbot.