ChatGPT e termodinamica: un esperimento rivela i limiti dell’intelligenza artificiale in aula
Aiuto nell'insegnamento sì, tutor accademico autonomo ancora no. Ecco l'esperimento sugli LLM nella didattica di materie scientifiche come termodinamica e spettroscopia dei nanomateriali.
Università, scuole e altri luoghi di formazione bandiscono l’intelligenza artificiale quando utilizzata per motivi scorretti. Ad esempio, superare un esame senza studiare oppure scrivere testi accademici senza troppe verifiche. Macome strumento che migliora l’insegnamento e supporta programmi di studio tecnici e scientifici è al centro di progetti e test didattici. L’Università di Würzburg sta studiando l’intelligenza artificiale come tutor nelle lezioni di termodinamica. Ecco la sperimentazione in corso pubblicata come preprint su arWiv.
Nel Dipartimento di Chimica Fisica, un gruppo di ricerca ha sviluppato uno strumento che verifica la comprensione termodinamica dei moderni LLM. Questa sigla sta per grandi modelli linguistici, il nome scientifico di ChatGPT, Gemini, Copilot e altri. Tutto, all’interno di ricerche sulla spettroscopia dei nanomateriali.
I ricercatori hanno testato se acquisiscono competenze o una semplice conoscenza dell’argomento. Sono arrivati a creare uno strumento IA dal nome UTQA: Undergraduate Thermodynamics Question Answering. È una risorsa accessibile per docenti e ricercatori che valuta gli LLM nelle loro competenze acquisite.
Chatbot utile a studenti e tirocinanti universitari: quali qualità deve avere l’intelligenza artificiale per essere utilizzata come supporto didattico?
Per ogni materia vengono forniti risultati e progressi misurabili. Il Professor Tobias Hertel, responsabile del progetto, spera che UTQA possa diventare una chatbot utile agli studenti. Già raggiungere il livello di partner non supervisionato nell’insegnamento sarebbe un primo passo. “Con UTQA, mostriamo dove gli attuali modelli linguistici sono già convincenti e dove falliscono sistematicamente: questo è esattamente ciò di cui i docenti hanno bisogno per poter pianificare il loro utilizzo nella didattica in modo responsabile […] L’UTQA comprende quindi 50 impegnativi compiti a risposta singola tratti dalla lezione di termodinamica di base: due terzi basati sul testo, un terzo con diagrammi e schizzi, come è tipico degli esercizi didattici“.
Il professor Hebel ha coinvolto anche tirocinanti nei test. E ha affermato che i risultati finora raggiunti sono insufficienti per trasformare gli LLM (le intelligenze artificiali) in veri e propri tutor accademici. Possono supportare i docenti ma non uno studente in autonomia. Come materia è stata scelta la termodinamica perché è una disciplina utile alla comprensione del grado di comprensione e ragionamento. “Quanto più i modelli riescono a gestire il binding multimodale, ovvero la combinazione di testo e immagini, nonché regimi irreversibili, tanto più ci avviciniamo a tutorial di intelligenza artificiale affidabili e orientati alla materia“.
