Le piattaforme social cercano continuamente di trovare il modo migliore per moderare i contenuti espliciti, ma non sempre ci riescono. Recentemente, il video di un suicidio è diventato virale su TikTok, precedentemente diffuso anche su Facebook, Instagram e 4chan. Le aziende in questi casi hanno due armi principali: la moderazione manuale e l’apprendimento automatico.
Per quanto riguarda l’apprendimento automatico e l’intelligenza artificiale, Facebook sta sviluppando un algoritmo in grado di rilevare persino i meme controversi oltre che i contenuti espliciti in formato foto o video. Altre piattaforme ad esempio usano un sistema simile per rilevare le molestie sessuali. Tuttavia, l’intelligenza artificiale ha i suoi difetti. In un rapporto del 2019, Ofcom ha osservato che non solo è talvolta possibile raggirare l’IA, ma questi sistemi non sono in grado di comprendere il contesto.
Video di un suicidio diventa virale su TikTok, l’ennesimo fallimento dei social media
Un famigerato esempio molto recente è Facebook che censura l’immagine di un bambino vittima della guerra del Vietnam. La piattaforma non ha distinto la foto dalle immagini di abusi sui minori. Il problema sarebbe ancor più grande se fosse successo il contrario. Facebook come quasi tutti gli altri social interviene manualmente in questi casi per monitorare i contenuti.
Alcuni moderatori vedono così tanti contenuti inopportuni ogni giorno che soffrono di attacchi di panico, assumono farmaci e diventano paranoici. Altri, non riescono più a notare le differenze. L’origine del problema è in parte dalla mole di contenuti caricati su queste piattaforme. Tra aprile e giugno 2019, Instagram ha dovuto rimuovere 834.000 contenuti grafici dal suo sito, solo una piccola parte dell’enorme quantità di post caricati ogni giorno.
Nel caso del video del suicidio diventato virale, è molto importante evitare che tali contenuti siano facilmente fruibili, o persino virali e su più social network. Chi lotta ogni giorno con situazioni simili a quelle proposte in questi video potrebbe rimanerne traumatizzato e questo inciderebbe sulla sua salute psicofisica. Dunque, non è solo un tentare di evitare che contenuti espliciti siano visibili per chiunque, ma soprattutto per loro, per il rispetto verso la salute mentale degli utenti che dovrebbe essere la priorità di qualsiasi algoritmo.