In seguito ad una valutazione assegnata dall’IA stranamente più alta del solito a suo figlio, una docente in California si è accorta di alcune incongruenze con la piattaforma utilizzata. Si è scoperto che Edgenuity, piattaforma online utilizzata per l’apprendimento a distanza, analizza le risposte degli studenti alla ricerca di parole chiave. Ciò implica che un numero sufficiente di parole chiave rilevate più falsare i risultati anche in caso di mancato completamente del compito.
Voti scolastici improvvisamente troppo alti o troppo bassi, rilevato l’IA di una piattaforma online negli USA facile da trarre in inganno
“Due frasi complete, seguite da un mix di parole casuali che potrebbero rispecchiare le probabili risposte ai quesiti posti. 100% di risposte corrette. Studenti su @EdgenuityInc, ecco. [Mio figlio] è passato da una F ad una A + senza imparare nulla“, ha dichiarato la docente D. Simmons.
Nonostante i vantaggi e gli svantaggi di metodologie simili, per la piattaforma il problema è in parte anche il corpo docenti poiché gli insegnanti hanno la possibilità di correggere eventuali errori prima di inviare i risultati finali. Tuttavia, gli insegnati non sapevano di questi bug e si sono affidati completamente all’IA del software. Come è stato dimostrato in altri campi, questi algoritmi possono soffrire di svariati pregiudizi economici e razziali o cadere facilmente in errore. Succede spesso ad esempio con le piattaforme utilizzate dalla polizia, soprattutto quelle per il riconoscimento facciale.