Bard alla prova della maturità statunitense: l’IA di Google bocciata senza possibilità d’appello

La rivista Fortune ha provato a sottoporre a Bard, l’IA conversazione di Google nata in risposta a ChatGPT, alcune domande del SAT — cioè un esame a cui vengono sottoposti gli studenti americani e che potremmo definire (iper-semplificando) come una via di mezzo tra i test invalsi e il nostro esame di maturità. Come è andata a finire? È andata a finire che l’IA di Google ha fallito clamorosamente e si è dimostrata incapace di rispondere correttamente anche ad alcuni dei quesiti più basilari.

Insomma, ne desumono i redattori di Fortune, se l’IA venisse sottoposta all’esame vero e proprio verrebbe inequivocabilmente bocciata. Ma perché ci interessa così tanto sapere se l’IA di Google sarebbe in grado di superare un test pensato per valutare degli studenti umani? Perché, contestualmente, l’IA di OpenAI ha già dimostrato di saper superare con successo (con lo stesso punteggio degli studenti più eccellenti) una ventina di diversi esami di alto livello: dall’esame per ottenere l’abilitazione di avvocato, ai quizzoni delle olimpiadi di chimica e matematica, passando anche per il succitato SAT.

A scanso di equivoci, è evidente che si tratta di un confronto assolutamente impari e profondamente ingiusto. Bard deve ancora uscire dalla fase di closed beta, che è aperta esclusivamente ad alcuni utenti anglofoni da poco più di due settimane. Inoltre, l’impressione generale è che la sua release sia stata piuttosto affrettata e che Google abbia deciso di accelerare il progetto in preda al panico, seguendo l’idea che dovesse assolutamente dare una risposta a ChatGPT quanto prima. Un approccio che aveva preoccupato anche gli stessi dipendenti dell’azienda.

Al contrario, ChatGPT è ormai in sviluppo da molti anni e nel corso degli ultimi 6 mesi ha già ricevuto diversi importante update. L’ultima versione, GPT-4, è disponibile per gli utenti iscritti a ChatGPT Plus da un paio di settimane ed ha introdotto diverse migliorie importanti. Ed è proprio GPT-4 ad aver performato meglio nei diversi esami accademici e professionali a cui è stato sottoposta.

Bard, al contrario, è un progetto ancora in divenire che deve ancora macinare molti chilometri prima di poter raggiungere un grado di maturità anche solo paragonabile a quello della controparte di OpenAI. Ad ogni modo, esplorare i limiti attuali dell’IA conversazione di Google rimane un esercizio utile. Quantomeno, tenere a mente i difetti di oggi potrebbe essere utile a stupirci un domani per i passi in avanti che l’IA di Google sarà eventualmente in grado di compiere.

Ad ogni modo, è evidente che oggi Google abbia molta strada da recuperare. In generale, i primi tester hanno definito Bard estremamente acerbo, sottolineando come l’IA faccia davvero fatica in molti compiti in cui ChatGPT eccelle fin dal suo debutto: dalla capacità di generare poesie e trame di film, passando per la risoluzione dei giochi di enigmistica.