Nel novembre del 2023, Google ha lanciato la sua nuova intelligenza artificiale, Gemini, per competere con il modello linguistico di grandi dimensioni (LLM) di OpenAI, GPT-4. Durante la presentazione della nuova tecnologia, la società ha presentato le sue funzionalità come strabilianti, al punto tale da sconfiggere l’IA di OpenAI. Uno studio condotto da ricercatori della Carnegie Mellon University e BerriAI ha però sollevato di contro molti interrogativi sulla competenza di Gemini Pro, la versione avanzata per i consumatori.
Il confronto tra quattro modelli di LLM (Gemini Pro, GPT-3.5 Turbo, OpenAi GPT-4 Turbo ed anche Mixtral 8x7B) è stato condotto utilizzando il sito aggregatore di intelligenza artificiale LiteLLM con un’analisi specifica andante nel periodo dal 11 al 15 dicembre 2023. I risultati, che coprivano diverse aree come le scienze umane, tecniche di ragionamento, matematica ed altro ancora, hanno rivelato che Gemini Pro ha raggiunto un’accuratezza paragonabile a GPT-3.5 Turbo, ma notevolmente inferiore a GPT-4 Turbo.
Il rapporto evidenzia debolezze di Gemini Pro nella riorganizzazione delle parole, produzione di simboli, risoluzione di domande a scelta multipla, comprensione di interrogazioni complesse, codifica e navigazione web. Questi risultati sollevano dubbi sulla capacità dell’intelligenza di Google di affrontare compiti avanzati nei modelli linguistici di grandi dimensioni. Anche se ci sono state diverse criticità
, Gemini Pro ha però mostrato superiorità rispetto a GPT-3.5 Turbo in alcune specifiche aree, come l’ordinamento delle parole, la sicurezza, la manipolazione di simboli, la microeconomia e la traduzione. Questi progressi indicano miglioramenti settoriali rispetto alle versioni precedenti.In risposta allo studio, Google ha annunciato il prossimo rilascio di Gemini Ultra nel 2024, affermando che supererà persino GPT-4 secondo le loro valutazioni interne. Tuttavia, la società ha ammesso una manipolazione nella dimostrazione iniziale di Gemini, cosa che ha influito inevitabilmente sul parere di chi ne ha già analizzato le funzionalità. Nonostante i progressi di Gemini Pro, OpenAI mantiene la leadership nel settore secondo esperti. Il confronto tra le due intelligenze artificiali rappresenta una sfida significativa per le ambizioni di Google: riuscirà a sconfiggere ChatGPT?