Un ricercatore di sicurezza, Johann Rehberger, ha scoperto una pericolosa vulnerabilità in ChatGPT. Questa falla permetteva di manipolare la memoria a lungo termine del chatbot, introdotta da OpenAI nel 2023 e resa disponibile su larga scala nel 2024. Ma cosa rende così delicata questa scoperta?
La memoria a lungo termine permette al chatbot di ricordare informazioni dalle conversazioni precedenti e usarle in quelle future. Tuttavia, Rehberger ha dimostrato che, tramite la tecnica di indirect prompt injection, era possibile inserire false memorie. Così facendo, ChatGPT poteva essere ingannato, arrivando a credere che l’utente avesse 102 anni o addirittura vivesse in Matrix. Questo tipo di attacco sfruttava documenti non affidabili o file caricati su cloud. Il problema è stato inizialmente sottovalutato da OpenAI, ma dopo una prova di concetto presentata dal ricercatore, l’azienda ha implementato una correzione parziale a dicembre.
Il caso evidenzia i rischi legati alla memorizzazione a lungo termine nelle IA conversazionali. Se un attaccante può manipolare il contesto delle conversazioni
, può indurre l’IA a comportarsi in modo imprevedibile, generando risposte errate o potenzialmente dannose. Ma quanto è pericolosa questa vulnerabilità? La capacità di memorizzare falsi ricordi potrebbe alterare non solo le interazioni tra l’IA e gli utenti, ma anche il modo in cui vengono prese decisioni basate su dati. L’attacco dimostra l’importanza di avere meccanismi di sicurezza più avanzati, soprattutto in IA come ChatGPT, che memorizzano informazioni sensibili e personali.OpenAI ha già apportato modifiche per mitigare il rischio di ChatGPT, ma le domande restano. Le future IA saranno davvero sicure? E come si può garantire che non vengano manipolate? La scoperta di Rehberger è solo un altro campanello d’allarme sul tema della sicurezza nelle intelligenze artificiali, che dovrà essere affrontato con urgenza se vogliamo evitare ulteriori incidenti. Purtroppo il problema della privacy legata alle IA va di pari passo con la loro creazione ed il loro uso. Non è certo la prima volta che sentiamo parlare di una problematica simile.