Per l’esperimento, è stato utilizzato un Elonex Pentium II con 350 MHz di clock e 128 MB di RAM, supportato da un motore di inferenza personalizzato basato su Llama2.c, una creazione del noto sviluppatore Andrej Karpathy.
Nonostante l’hardware antiquato, il sistema è stato in grado di generare testo a una velocità di 35,9 token al secondo, impiegando un modello di dimensioni ridotte (260K). Questo esperimento ha dimostrato che, con le giuste ottimizzazioni, anche computer di vecchia generazione possono supportare modelli AI, benché con alcune limitazioni. Inoltre, EXO Labs ha testato con successo modelli più grandi, sebbene con una velocità di generazione inferiore, suggerendo che l’accessibilità alle tecnologie AI potrebbe essere più ampia di quanto si credesse.
EXO Labs ha un obiettivo ambizioso: rendere l’intelligenza artificiale accessibile a tutti, indipendentemente dall’hardware. Per perseguire questa visione, l’organizzazione sta sviluppando BitNet, un’architettura di rete neurale innovativa in grado di eseguire modelli linguistici di grandi dimensioni su hardware limitato. Un esempio impressionante è rappresentato da un modello da 7 miliardi di parametri, che richiede solo 1,38 GB di spazio di archiviazione. BitNet è progettato per funzionare in modo ottimale sulle CPU, eliminando la dipendenza da GPU costose e garantendo un accesso democratizzato all’intelligenza artificiale.
AI per tutti
Le implicazioni di questa innovazione sono significative. La possibilità di eseguire modelli linguistici su dispositivi economici e con bassi consumi energetici potrebbe rivoluzionare il settore, aprendo l’AI a nuovi segmenti di pubblico. Tuttavia, permangono alcune incertezze riguardo alla diffusione di tali tecnologie. Iniziative come quella di EXO Labs, per quanto lodevoli, potrebbero rimanere di nicchia a causa di sfide tecniche e di mercato.
Oltre a questi sviluppi, l’esperimento ha mostrato il potenziale per ridurre drasticamente i costi associati all’adozione di tecnologie AI, rendendole più accessibili a organizzazioni e individui con risorse limitate. Ciò potrebbe portare a un maggiore utilizzo dell’AI in contesti educativi, non-profit e nelle piccole imprese, settori che altrimenti faticherebbero ad adottare queste tecnologie.
EXO Labs crede fermamente nella collaborazione aperta e invita chiunque condivida la sua visione a partecipare al progetto. Gli interessati possono contattare l’organizzazione o unirsi al suo canale Discord per contribuire allo sviluppo di BitNet e ad altre soluzioni innovative. Questa iniziativa rappresenta un passo significativo verso un futuro in cui l’intelligenza artificiale è veramente alla portata di tutti. Se siete interessati all’argomento, vi consigliamo articoli simili.