Queste indagini hanno rivelato che Intel avrebbe utilizzato dei compilatori ottimizzati per migliorare specificamente le prestazioni dei benchmark, è come se l’azienda avesse manipolato il compilatore in modo da influenzare positivamente i risultati del benchmark, rendendoli non rappresentativi delle prestazioni reali che gli utenti avrebbero avuto in futuro. La stima dello SPEC è che il compilatore di Intel possa aver gonfiato i risultati del 9% circa.
SPEC ha individuato questo problema durante un’analisi retrospettiva del proprio database di benchmark. Ha mantenuto i dati per ragioni storiche, SPEC ha dichiarato l’invalidità di tali risultati in base ai propri report.
Intel: non è la prima volta che siamo davanti a falsi risultati dei benchmark
Inizia la caccia al compilatore, iniziando ad escludere i più recenti, quelli utilizzati nei processori Xeon della serie 5th-gen Emerald Rapids, perché non includono le API presunte che migliorano le prestazioni. Inoltre è importante notare che i processori Xeon, e il test SPEC 2017, sono progettati per applicazioni industriali ed educative di alto livello e quindi hanno una rilevanza minima nel mercato di consumo.
Accuse simili per la manipolazione dei risultati del benchmark sono già emerse nel settore dei chip mobili nel 2020, coinvolgendo fornitori come Samsung, Qualcomm e MediaTek.
Queste problematiche evidenziano le sfide e i confronti relativi ai risultati dei benchmark dichiarati da parte delle aziende stesse, il vero motivo perché si continua a farlo è indicabile al fatto che ancora oggi rimane difficile da verificare, anche se a fare il controllo è uno dei migliori sistemi informatici del mondo.