Rosetta, il sistema machine learning di Facebook per capire i meme

fbdata 999x666

È stato messo a punto da Facebook Rosetta, un sistema basato sul machine learning in grado di comprendere le scritte nelle foto e collocarle nel giusto contesto in base all’immagine rappresentata.

Facebook si trova ogni giorno sommerso da fotografie contenenti testo, e riuscire a identificarne il contenuto in modo contestualizzato è una sfida tecnologica non da poco.

L’obiettivo è migliorare la ricerca di foto, rendere più accessibile la piattaforma per chi ha impedimenti visivi, e identificare con maggior precisione i contenuti inappropriati.

Chiaramente c’era la necessità di un sistema automatizzato e non di un controllo manuale, visto il miliardo di contenuti visivi quotidiani che invadono il social.

Qui entra in gioco Rosetta, che estrapola il testo dal contenuto e lo fornisce come input ad un modello di riconoscimento del testo allenato ad identificare insieme il contesto del testo e dell’immagine.

 

rosetta 699x338

Architettura a due step.

 

Il riconoscimento del testo è effettuato in due step: prima c’è la sua identificazione all’interno dell’immagine, e successivamente il riconoscimento per capire le parole scritte.

Non si tratta in realtà di una pensata rivoluzionaria, ma Facebook ha il merito di averla realizzata in modo efficace, soprattutto grazie alle enormi risorse di cui dispone.

Sono proprio quelle risorse infatti che rendono possibile esaminare quella quantità infinita di materiale, peraltro con testi in svariate lingue.

Di seguito il link al post con i dettagli tecnici:

Facebook ha compiuto vent'anni: ha ancora senso?
Facebook ha compiuto vent'anni: ha ancora senso?
Possibile condividere NFT su Facebook e Instagram
Possibile condividere NFT su Facebook e Instagram
Meta non permetterà più la condivisione di indirizzi pubblici su Facebook
Meta non permetterà più la condivisione di indirizzi pubblici su Facebook
Facebook non fa più effettuare il login ad alcuni account senza Facebook Protect
Facebook non fa più effettuare il login ad alcuni account senza Facebook Protect
Il metaverso di Facebook non avrà successo, per l'ex presidente Nintendo
Il metaverso di Facebook non avrà successo, per l'ex presidente Nintendo
Google e Meta sotto indagine dell'UE per degli accordi pubblicitari
Google e Meta sotto indagine dell'UE per degli accordi pubblicitari
Facebook: Zuckerberg potrebbe ancora non aver scelto il nuovo nome
Facebook: Zuckerberg potrebbe ancora non aver scelto il nuovo nome