Recentemente abbiamo visto le potenzialità delle comunità internettiane plasmare addirittura Wall Street, tuttavia ci sono altri ambienti che stanno provando a cambiare il mondo attraverso i sottocanali di Reddit.
Un ricercatore, stufo di provare a emulare i risultati di un documento scientifico troppo vago, ha recentemente manifestato le sue perplessità su r/MachineLearning, ottenendo una forte e condivisa solidarietà.
Sul canale è diffusa l’opinione che molti dei report presentati alle conferenze del settore siano impacchettati ad arte perché presentino risultati accattivanti, ma che nella realtà dei fatti questi siano delle mezze bufale.
Probabilmente il 50/75 per cento di tutte le presentazioni sono improducibili. […] Pensateci, molte relazioni sono “ottimizzate” per essere selezionati alle conferenze. Nella maggior parte dei casi gli autori sono consapevoli che i loro risultati non consentirebbero loro di partecipare agli eventi. Quindi non devono preoccuparsi della riproducibilità perché nessuno cercherà effettivamente di riprodurne i risultati,
cerca di spiegare un utente.
Essendo un meccanismo tanto diffuso, insomma, i ricercatori si farebbero promotori di una specie di “cortesia professionale” per cui nessuno si curi di vigilare sull’operato altrui, pena il crollo del castello di carte e conseguenti complicazioni per tutti.
Sia chiaro, non sappiamo quanto questo spaccato sia affine ai fatti, tuttavia resta interessante la soluzione che i redditers hanno trovato per affrontare quello che percepiscono come un difetto capillarmente diffuso.
Il ricercatore che ha dato il via alla discussione ha infatti aperto una pagina web, Papers Without Code, attraverso cui catalogare tutte le relazioni sul machine learning la cui riproduzione è tanto astrusa da non creare altro che problemi.
Lo scopo è quello di creare un’ampia raccolta enciclopedia di report dubbi, così che chiunque possa validare o meno i risultati reclamizzati dagli autori. Non solo, i redditers vogliono approfittare della situazione per chiedere che alle conferenze siano accolte solamente le ricerche nelle quali sia fornito il codice sorgente delle IA presentate.
Una simile clausola non solo ridurrebbe il numero di relazioni fraudolente, ma permetterebbe agli scienziati di adoperare le reciproche ricerche per far progredire la tecnologia molto più velocemente.
Potrebbe anche interessarti:
