Questa IA è in grado di comprendere la musica “spiando” il pianista

3 mesi fa

piano

Una IA riesce a generare musica anche senza sentire l’audio, semplicemente processando il movimenti delle mani del pianista.

L’intelligenza artificiale, battezzata con il nome di Audeo, è stata addestrata da dei ricercatori dell’Università di Washington ed è fondamentalmente capace di analizzare i movimenti delle dita sulle tastiere musicali per predirne i suoni.

L’input visivo viene interpretato, messo a spartito e sintetizzato con una velocità tale da garantire il sincrono tra immagine e sonoro e con una precisione che nell’86 per cento dei casi riesce a “gabbare” anche Shazam. Un traguardo non indifferente, se si tiene in conto che i video di riferimento, forniti dal musicista Paul Barton, vantavano un tasso di riconoscibilità del 92 per cento.

Creare musica che suoni come se fosse eseguita in una performance musicale era ritenuto impossibile, in precedenza. Un algoritmo deve intuire i segnali, ovvero le “caratteristiche” dei frame del video che sono collegate al generare la musica, e ha bisogno di “immaginare” il suono che sta riverberando tra i vari frame. C’è bisogno di un sistema che sia allo stesso tempo preciso e creativo,

ha riportato Eli Shlizerman, assistente professore presso l’Università di Washington e autore anziano della ricerca.

L’IA sviluppata ha ovviamente delle limitazioni significative, per esempio non è in grado di cogliere la pressione esercitata dal pianista sui tasti, tuttavia apre la strada a nuovi modi di esplorare la musica e l’insegnamento.

In tal senso, il team si dice pronto ad addestrare Audeo in modo che possa “intuire” la musica dal solo movimento delle mani, anche senza che sia presente la pianola. Dopo i campionati dell'”air guitar“, ora tocca alla scienza dell'”air piano”.

 

Potrebbe anche interessarti:

 

 

Intel sta addestrando una IA per filtrare in diretta l'hate speech
Intel sta addestrando una IA per filtrare in diretta l'hate speech
Artista spagnolo crea un video da trip usando il deep-learning
Artista spagnolo crea un video da trip usando il deep-learning
IA sconfitte con dei post-it, ecco i typographic attack
IA sconfitte con dei post-it, ecco i typographic attack
L'Estonia ha creato un carrarmato automatizzato da paracadutare in guerra
L'Estonia ha creato un carrarmato automatizzato da paracadutare in guerra
Anche l'intelligenza artificiale fatica a dominare il gioco QWOP
Anche l'intelligenza artificiale fatica a dominare il gioco QWOP
Unione Europea, presto avremo un quadro giuridico per gestire le IA
Unione Europea, presto avremo un quadro giuridico per gestire le IA
Maia: l'Intelligenza Artificiale che gioca a scacchi, ma in modo “umano”
Maia: l'Intelligenza Artificiale che gioca a scacchi, ma in modo “umano”