Facebook aveva creato un contest per individuare un algoritmo anti-deepfake, hanno partecipato in più di 2.000, tra ricercatori ed aziende. Siamo ancora molto lontani dal risultato sperato.
Nel 2019 Facebook aveva annunciato la prima edizione della Deepfake Detection Challenge, un’iniziativa alla quale avevano partecipato diversi accademici e aziende leader del settore. L’obiettivo era ambizioso: individuare un algoritmo in grado di capire quando un video è stato contraffatto, rispondendo alle preoccupazioni nate negli ultimi anni sul fenomeno del deepfake.
Oggi Facebook ha presentato i risultati del contest, a cui hanno partecipato oltre 2.000 persone, con più di 35.000 algoritmi per identificare i deepfake.
I risultati non sono completamente sconfortanti, ma dimostrano in modo inequivocabile come siamo davvero ancora molto lontani da un software in grado di capire, con assoluta certezza, quando un video è stato manipolato dalle AI. «È un problema ancora irrisolto», sintetizzano i ricercatori.
Due le fasi di test, dapprima la verifica della capacità dei tool anti-deepfake utilizzando un dataset di 100.000 clip notoriamente contraffate —e messe a disposizione dei ricercatori dalla stessa Facebook per aiutare loro ad addestrare gli algoritmi; poi un test al buio: agli algoritmi è stato chiesto di identificare i deepfake contenuti in un dataset inedito, con video, alcuni falsi ed altri veri, mai divulgati al pubblico.
La maggior parte degli strumenti presentati dai partecipanti non hanno avuto grossi problemi a superare la prima fase del test, ma nella seconda, quella dei test “al buio”, i risultati sono scesi drasticamente.
L’algoritmo vincitore del primo contest, spiega Facebook, ha avuto un tasso d’accuratezza superiore all’82% con il primo dataset, ma con il secondo l’affidabilità è scesa al 65.18%. È un punto di partenza eccellente, ma c’è ancora molta strada da fare.
