OpenAI può contare su un piccolo esercito di tecnici, incaricati di valutare la qualità degli output di ChatGPT, in un processo di continuo addestramento e perfezionamento della tecnologia noto come ,(RLHF). A quanto pare, ora l’azienda ritiene che l’intelligenza artificiale potrebbe svolgere meglio degli umani anche questo compito. Insomma, per correggere un’IA sarebbe necessario un’altra IA. Magari alimentata dallo stesso modello a cui si deve il suo successo: GPT-4.
L’azienda di Sam Altman ha annunciato CriticGPT, uno stumento ad uso interno che è in grado di individuare errori nel codice generato da ChatGPT, fornendo consigli sulla correzione degli output ad una velocità elevata e con una precisione superiore a quella dei tecnici in carne ed ossa.
Una slide mostra il funzionamento di CriticGPT
CriticGPT, l’IA che bacchetta e corregge ChatGPT
OpenAI crede che combinare l’intelligenza artificiale con l’intervento umano possa migliorare ulteriormente l’affidabilità e l’intelligenza dei suoi software. Questa tecnica, chiamata apprendimento per rinforzo con feedback umano (RLHF), è stata fondamentale per perfezionare ChatGPT, rendendolo più preciso e meno incline a comportamenti scorretti.
CriticGPT sarà un utile strumento di supporto per semplificare la vita agli ingegneri di OpenAI, migliorandone i risultati.
Abbiamo addestrato un modello basato su GPT-4, chiamato CriticGPT, per individuare errori nel codice generato da ChatGPT. Abbiamo scoperto che, quando le persone ricevono aiuto da CriticGPT per revisionare il codice di ChatGPT, ottengono risultati migliori rispetto a chi non riceve assistenza nel 60% dei casi. Stiamo iniziando a integrare modelli simili a CriticGPT nel nostro processo di etichettatura RLHF, fornendo ai nostri addestratori un nuovo strumento di assistenza
si legge nell’annuncio pubblicato da OpenAI.
Man mano che facciamo progressi nel ragionamento e nel comportamento dei modelli, ChatGPT diventa più accurato e i suoi errori diventano più sottili. Significa anche che spesso sono più complicati da individuare, complicando il lavoro di RLHF
Ed ecco che viene in soccorso la nuova intelligenza artificiale.
I primi risultati sono incoraggianti
La stessa OpenAI ammette che, almeno per ora, le indicazioni di CriticGPT non sono sempre corrette, ma possono aiutare gli addestratori a individuare molti più problemi nelle risposte generate dal modello rispetto a quanto farebbero senza l’aiuto dell’AI. Inoltre, quando le persone utilizzano CriticGPT tendono a produrre critiche più complete e approfondite rispetto a quando lavorano in autonomia.
Per verificare le performance del nuovo strumento, OpenAI ha sottoposto le relazioni realizzate usando CriticGPT ad un secondo ricarcatore scelto a caso e incaricato di valutare quale tra diverse alternative fosse la migliore. Le critiche realizzate con la collaborazione dell’IA sono state preferite nel 60% dei casi. Un dato ottimo, ma con ampissimi margini di miglioramento.
