ChatGPT Search, lanciato a novembre con l’obiettivo di competere con Google, promette ricerche rapide e mirate grazie all’intelligenza artificiale. Tuttavia, uno studio condotto dal Tow Center for Digital Journalism della Columbia ha evidenziato alcune problematiche nell’accuratezza delle risposte fornite.
I ricercatori hanno testato ChatGPT Search su 200 citazioni prese da 20 editori, selezionati tra chi collabora con OpenAI, chi è in causa con essa e chi non ha fornito accesso al proprio crawler. La verifica ha prodotto risultati misti:
Tra gli aspetti più critici che ChatGPT Search mostra, c’è la tendenza a fornire risposte anche in mancanza di dati certi e verificati. Questo porta dunque alla risorsa ad inventare delle informazioni, non fornendo dunque la giusta precisione. Questo comportamento, secondo i ricercatori, può causare danni reputazionali agli editori e confondere gli utenti.
Un’altra preoccupazione riguarda i contenuti citati. In assenza di accesso diretto alle fonti originali, il chatbot spesso utilizza siti di plagio o aggregatori, citandoli al posto degli editori legittimi. Questo rischio potrebbe allontanare dunque il pubblico dai creatori di contenuti e favorire la diffusione di informazioni meno accurate sul web e in giro.
La varietà delle risposte, una caratteristica intrinseca di ChatGPT, può inoltre risultare controproducente: lo stesso quesito può produrre output differenti, compromettendo coerenza e pertinenza, indipendentemente dall’accesso alle fonti.
Lo studio evidenzia inoltre che, sebbene ChatGPT Search sia veloce, la sua accuratezza rimane problematica come qualcuno pensava già dapprima. Gli errori nelle attribuzioni e l’uso di fonti secondarie rappresentano sfide significative, specialmente per un pubblico che potrebbe non essere consapevole dei limiti dei chatbot.