La beffa di ChatGPT Plus e co: più paghi, più l’AI commette errori
Uno studio del Tow Center rivela: i motori di ricerca basati su IA forniscono informazioni errate nel 60% dei casi, anche con abbonamenti premium.
Da tempo si discute dell’accuratezza dei modelli di intelligenza artificiale e della loro tendenza a produrre informazioni errate con estrema sicurezza. Un nuovo studio condotto dal Tow Center for Digital Journalism ha finalmente fornito dati quantitativi su questo fenomeno, confermando i timori di molti esperti e rivelando un quadro preoccupante per gli utenti che si affidano a questi strumenti.
La ricerca ha analizzato otto motori di ricerca basati su IA, tra cui ChatGPT Search, Perplexity (nelle versioni gratuita e Pro), Gemini, DeepSeek Search, Grok-2 Search, Grok-3 Search e Copilot. I risultati sono inequivocabili: nel complesso, questi strumenti forniscono informazioni inaccurate nel 60% dei casi, spesso con una “sicurezza” che rende difficile per l’utente medio distinguere la verità dall’errore.
ChatGPT Search sbaglia spesso, ma il peggiore è Grok
I ricercatori hanno selezionato 200 articoli provenienti da 20 diverse testate giornalistiche e hanno verificato se i motori di ricerca IA fossero in grado di citare correttamente l’articolo, l’organizzazione giornalistica e l’URL quando interrogati con un estratto dell’articolo stesso. I risultati sono stati classificati in base a diversi gradi di accuratezza, da “completamente corretti” a “completamente errati”.
Particolarmente preoccupante è il caso di ChatGPT Search, l’unico strumento che ha tentato di rispondere a tutte le 200 richieste, ma con un tasso di accuratezza completa di appena il 28% e un impressionante 57% di risposte completamente errate. Ancora peggiori i risultati di Grok-3 Search di X (ex Twitter), che ha raggiunto un tasso di inaccuratezza del 94%.
Ted Gioia, in un articolo pubblicato su The Honest Broker nel 2023, aveva già evidenziato aneddoticamente come ChatGPT tendesse a “mentire” con sicurezza, cioè illudendo l’utente di sapere di cosa stesse parlando, in risposta a numerose domande, anche le più comuni. Un aspetto particolarmente inquietante è che, anche quando ammette di aver sbagliato, l’IA tende a seguire questa ammissione con ulteriori informazioni fabbricate, come se fosse programmata per fornire una risposta a qualsiasi costo, indipendentemente dalla sua veridicità.
Il paradosso dell’abbonamento premium: pagare per maggiori errori
Un elemento che solleva interrogativi etici è il modello di business adottato dalle aziende che sviluppano questi strumenti. Nonostante la scarsa accuratezza dimostrata, le aziende chiedono agli utenti di sottoscrivere abbonamenti mensili che variano dai 20 ai 200 dollari per accedere alle versioni più avanzate dei loro modelli di IA. Il sottinteso è che pagando di più sarebbe possibile ottenere risultati più accurati, minimizzando il rischio di imprecisioni o allucinazioni. Ma così non è.
Il paradosso emerso dallo studio è che le versioni a pagamento non sempre garantiscono migliori prestazioni: Perplexity Pro (20€/mese) e Grok-3 Search (40€/mese) hanno risposto correttamente a un numero leggermente maggiore di domande rispetto alle loro controparti gratuite, ma hanno mostrato tassi di errore significativamente più alti.
Microsoft Copilot non ha brillato particolarmente: ha rifiutato di rispondere a 104 delle 200 richieste e, delle 96 risposte fornite, solo 16 erano “completamente corrette”, 14 “parzialmente corrette” e ben 66 “completamente errate”, portando il tasso di inaccuratezza intorno al 70%.
Nonostante questi dati allarmanti, non mancano opinioni contrastanti. Lance Ulanoff di TechRadar, ad esempio, ha dichiarato che potrebbe non utilizzare più Google dopo aver provato ChatGPT Search, descrivendolo come uno strumento veloce, consapevole e accurato, con un’interfaccia pulita e priva di pubblicità.
Lo studio del Tow Center, pubblicato sulla Columbia Journalism Review, offre un’importante occasione di riflessione sull’utilizzo degli strumenti di IA come fonti di informazione affidabili. In un’epoca in cui la disinformazione rappresenta già una sfida significativa, è fondamentale considerare con cautela il ruolo che queste tecnologie possono giocare nel panorama informativo globale.
