In seguito ad una valutazione assegnata dall’IA stranamente più alta del solito a suo figlio, una docente in California si è accorta di alcune incongruenze con la piattaforma utilizzata. Si è scoperto che Edgenuity, piattaforma online utilizzata per l’apprendimento a distanza, analizza le risposte degli studenti alla ricerca di parole chiave. Ciò implica che un numero sufficiente di parole chiave rilevate più falsare i risultati anche in caso di mancato completamente del compito.
“Due frasi complete, seguite da un mix di parole casuali che potrebbero rispecchiare le probabili risposte ai quesiti posti. 100% di risposte corrette. Studenti su @EdgenuityInc, ecco. [Mio figlio] è passato da una F ad una A + senza imparare nulla“, ha dichiarato la docente D. Simmons.
Nonostante i vantaggi e gli svantaggi di metodologie simili, per la piattaforma il problema è in parte anche il corpo docenti poiché gli insegnanti hanno la possibilità di correggere eventuali errori prima di inviare i risultati finali. Tuttavia, gli insegnati non sapevano di questi bug e si sono affidati completamente all’IA del software. Come è stato dimostrato in altri campi, questi algoritmi possono soffrire di svariati pregiudizi economici e razziali o cadere facilmente in errore. Succede spesso ad esempio con le piattaforme utilizzate dalla polizia, soprattutto quelle per il riconoscimento facciale.