Rosetta, il sistema machine learning di Facebook per capire i meme

3 anni fa

È stato messo a punto da Facebook Rosetta, un sistema basato sul machine learning in grado di comprendere le scritte nelle foto e collocarle nel giusto contesto in base all’immagine rappresentata.

Facebook si trova ogni giorno sommerso da fotografie contenenti testo, e riuscire a identificarne il contenuto in modo contestualizzato è una sfida tecnologica non da poco.

L’obiettivo è migliorare la ricerca di foto, rendere più accessibile la piattaforma per chi ha impedimenti visivi, e identificare con maggior precisione i contenuti inappropriati.

Chiaramente c’era la necessità di un sistema automatizzato e non di un controllo manuale, visto il miliardo di contenuti visivi quotidiani che invadono il social.

Qui entra in gioco Rosetta, che estrapola il testo dal contenuto e lo fornisce come input ad un modello di riconoscimento del testo allenato ad identificare insieme il contesto del testo e dell’immagine.

 

Architettura a due step.

 

Il riconoscimento del testo è effettuato in due step: prima c’è la sua identificazione all’interno dell’immagine, e successivamente il riconoscimento per capire le parole scritte.

Non si tratta in realtà di una pensata rivoluzionaria, ma Facebook ha il merito di averla realizzata in modo efficace, soprattutto grazie alle enormi risorse di cui dispone.

Sono proprio quelle risorse infatti che rendono possibile esaminare quella quantità infinita di materiale, peraltro con testi in svariate lingue.

Di seguito il link al post con i dettagli tecnici:

Asterix: la pagina Facebook cancella un'immagine offensiva
Asterix: la pagina Facebook cancella un'immagine offensiva
Simone Biles: Facebook Watch sviluppa una docuserie sulla ginnasta
Simone Biles: Facebook Watch sviluppa una docuserie sulla ginnasta
Disney userà un'Intelligenza Artificiale per eliminare le discriminazioni di genere dai suoi film
Disney userà un'Intelligenza Artificiale per eliminare le discriminazioni di genere dai suoi film
Watchmen: online il teaser del New York Comic Con
Watchmen: online il teaser del New York Comic Con
Ecco il video della cerimonia di apertura di Star Wars: Galaxy's Edge presente ad Anaheim
Ecco il video della cerimonia di apertura di Star Wars: Galaxy's Edge presente ad Anaheim
Star Wars: Galaxy's Edge inaugura in diretta Facebook mercoledì 29 maggio
Star Wars: Galaxy's Edge inaugura in diretta Facebook mercoledì 29 maggio
Facebook meglio di Twitter nella lotta alle fake news
Facebook meglio di Twitter nella lotta alle fake news