William Hersh, M.D., professore di informatica medica e clinica alla Oregon Health & Science University, si è chiesto come l’IA si fosse comportata con nella sua classe e ha quindi voluto fare un esperimento. Ha infatti testato sei forme di modelli di intelligenza artificiale generativi, ad esempio ChatGPT, in una versione online del suo corso introduttivo in informatica biomedica e sanitaria per vedere come si sono comportati con gli studenti.
Questo solleva preoccupazione per gli imbrogli, ma qui c’è un problema più grande. Come facciamo a sapere che i nostri studenti stanno effettivamente imparando e padroneggiando le conoscenze e le abilità di cui hanno bisogno per il loro futuro lavoro professionale?
Hersh
Hersh si è detto pienamente in sintonia con le nuove tecnologie. Il ruolo della tecnologia nell’istruzione non è certo una novità, ha detto il professore. Tuttavia, il passaggio all’IA generativa rappresenta un salto in avanti incredibile.
Chiaramente, tutti dovrebbero avere una sorta di base di conoscenza nel loro campo. Qual è la base della conoscenza che ti aspetti che le persone abbiano per essere in grado di pensare in modo critico?
Hersh
I modelli di intelligenza artificiale
Hersh e la coautrice Kate Fultz Hollis, un’informatica dell’OHSU, hanno evidenziato i punteggi di valutazione delle conoscenze di 139 studenti che hanno seguito il corso introduttivo in informatica biomedica e sanitaria nel 2023. Hanno utilizzato sei grandi modelli linguistici di intelligenza artificiale generativa con materiali di valutazione degli studenti del corso. A seconda del modello, l’IA ha ottenuto un punteggio tra il 50% e il 75% sulle domande a scelta multipla utilizzate nei quiz e un esame finale che richiedeva brevi risposte scritte. Gli autori hanno scritto:
I risultati di questo studio sollevano domande significative per il futuro della valutazione degli studenti nella maggior parte, se non in tutte, le discipline accademiche.
Hersh ha dichiarato:
Quando ero uno studente di medicina, uno dei miei medici curanti mi ha detto che avevo bisogno di avere tutte le conoscenze nella mia testa. Anche negli anni ’80, era un tratto. La base di conoscenza della medicina ha da tempo superato la capacità del cervello umano di memorizzare tutto.
L’obiettivo del centro sanitario accademico OHSU è quello di educare gli operatori sanitari in grado di prendersi cura dei pazienti e ottimizzare l’uso di dati e informazioni su di loro nel mondo reale. Resta inteso il fatto che la medicina richiederà sempre il tocco umano.
Ci sono molte cose che fanno gli operatori sanitari che sono abbastanza semplici, ma ci sono quei casi in cui diventa più complicato e devi giudicare. È allora che aiuta ad avere quella prospettiva più ampia, senza necessariamente aver bisogno di avere ogni ultimo fatto nel tuo cervello. Aggiorno il corso ogni anno. In qualsiasi campo scientifico, ci sono sempre nuovi progressi e i modelli di lingua grande non sono necessariamente aggiornati su tutto questo. Ciò significa solo che dovremo guardare a test più recenti o più sfumati in cui non otterrai la risposta da ChatGPT.
Hersh
