Inserire l’AI in un orsacchiotto per bambini è una pessima idea
Lo ha scoperto un'azienda che produce giocattoli: l'orsetto della FoloToy ha, tra le altre cose, sostenuto che l'attacco contro le torri gemelle fosse un complotto ideato da Bush e spiegato cosa è il sadomaso.
Chi l’avrebbe mai detto! Inserire l’AI all’interno di un giocattolo per bambini è la ricetta per il disastro. Kumma, il soffice orsetto AI prodotto dalla startup di Singapore FoloToy è diventato virale per motivi molto lontani da quelli sperati dall’azienda.
Un orsetto non proprio ‘child-friendly’
Secondo un report pubblicato dal PIRG Education Fund negli Stati Uniti, il peluche non solo suggeriva dove trovare coltelli in casa, ma rispondeva senza esitazione a richieste sessualmente esplicite, arrivando a descrivere in dettaglio bondage, pratiche fetish e ruoli da camera da letto. Una situazione surreale, rimbalzata sui social come meme, ma che ha acceso un serio campanello d’allarme sull’affidabilità dell’AI destinata ai bambini.
La società ha reagito rapidamente sospendendo le vendite del prodotto e annunciando un riesame completo dei controlli di sicurezza. A pochi giorni di distanza, Kumma è già di nuovo sugli scaffali digitali. FoloToy dichiara che il peluche ora integra filtri più rigorosi e nuovi moduli di protezione per impedire risposte pericolose o inappropriate. L’azienda ha sottolineato di essere stata l’unica tra le tre coinvolte nella ricerca ad aver fermato la distribuzione del dispositivo, quasi trasformando l’incidente in una prova di responsabilità.
Quale AI usa? Ora è un mistero
Ciononostante, rimangono dubbi rilevanti. Prima dello scandalo, il prodotto veniva pubblicizzato come basato su GPT-4o. Dopo l’intervento di OpenAI, che ha sospeso l’accesso al modello per violazione delle policy, la nuova scheda del prodotto non menziona più alcuna tecnologia specifica. Una scelta che potrebbe indicare l’uso di un modello alternativo o, semplicemente, l’intenzione di evitare ulteriori controversie.
Il caso Kumma arriva in un momento delicato, mentre sul mercato stanno comparendo sempre più giocattoli connessi a sistemi di intelligenza artificiale. Un ordigno pronto ad esplodere e fare danni irreparabili? La cronaca recente ha già dimostrato come l’accesso all’AI da parte di soggetti molto giovani e fragili possa portare a conseguenze fatali.
