DALL-E-2 aggiunge una importante miglioria nella comprensione del testo, una generazione di immagini più rapida e una risoluzione quattro volte maggiore. Il nuovo strumento introduce anche due funzionalità extra: la reinterpretazione di immagini esistenti e una funzione di modifica chiamata painting.
In painting apporta modifiche a un’immagine esistente analizzando una didascalia in linguaggio naturale. Può aggiungere e rimuovere componenti, integrando al contempo le modifiche previste a ombre, riflessi e trame. DALL·E 2 è stato addestrato su copie di immagini e relative didascalie, che hanno insegnato al modello le relazioni tra immagini e parole.
Il sistema trasforma quindi gradualmente il modello in un’immagine quando ne riconosce aspetti specifici. Alcune delle creazioni di DALL-E 2 sembrano davvero troppo belle per essere vere. Eppure i ricercatori affermano che il sistema tende a generare immagini visivamente coerenti per la maggior parte dei sottotitoli che le persone provano.
I grafici, gli sviluppatori di app, i media, gli architetti, gli illustratori commerciali e i designer di prodotti possono tutti utilizzare lo strumento per ispirarsi e realizzare nuove creazioni e l’editing.
Il sistema non è stato ancora rilasciato al pubblico. Il CEO di OpenAI Sam Altman spera di lanciare il prodotto quest’estate, ma i ricercatori vogliono prima indagare sui rischi o aspetti negativi.
Si prevede di integrare misure di sicurezza che impediscano al sistema di generare contenuti ingannevoli e altrimenti dannosi.
Il team ha già rimosso i contenuti espliciti dai dati di formazione e ha bandito i contenuti violenti, che incitano all’odio.
Se i filtri identificano immagini e messaggi di testo che infrangono le regole, il sistema non genererà gli output. Sono stati inoltre implementati sistemi di monitoraggio automatizzato e umano come salvaguardia contro l’uso improprio.