Questa IA è in grado di comprendere la musica “spiando” il pianista
Una IA riesce a generare musica anche senza sentire l’audio, semplicemente processando il movimenti delle mani del pianista.
L’intelligenza artificiale, battezzata con il nome di Audeo, è stata addestrata da dei ricercatori dell’Università di Washington ed è fondamentalmente capace di analizzare i movimenti delle dita sulle tastiere musicali per predirne i suoni.
L’input visivo viene interpretato, messo a spartito e sintetizzato con una velocità tale da garantire il sincrono tra immagine e sonoro e con una precisione che nell’86 per cento dei casi riesce a “gabbare” anche Shazam. Un traguardo non indifferente, se si tiene in conto che i video di riferimento, forniti dal musicista Paul Barton, vantavano un tasso di riconoscibilità del 92 per cento.
Creare musica che suoni come se fosse eseguita in una performance musicale era ritenuto impossibile, in precedenza. Un algoritmo deve intuire i segnali, ovvero le “caratteristiche” dei frame del video che sono collegate al generare la musica, e ha bisogno di “immaginare” il suono che sta riverberando tra i vari frame. C’è bisogno di un sistema che sia allo stesso tempo preciso e creativo,
ha riportato Eli Shlizerman, assistente professore presso l’Università di Washington e autore anziano della ricerca.
L’IA sviluppata ha ovviamente delle limitazioni significative, per esempio non è in grado di cogliere la pressione esercitata dal pianista sui tasti, tuttavia apre la strada a nuovi modi di esplorare la musica e l’insegnamento.
In tal senso, il team si dice pronto ad addestrare Audeo in modo che possa “intuire” la musica dal solo movimento delle mani, anche senza che sia presente la pianola. Dopo i campionati dell'”air guitar“, ora tocca alla scienza dell'”air piano”.
Potrebbe anche interessarti:
- Audeo: Audio Generation for a Silent Performance Video (proceedings.neurips.cc)
- ‘Audeo’ teaches artificial intelligence to play the piano (washington.edu)
