Fonte: Le Scienze27 novembre 2018L'intelligenza artificiale in aiuto delle pubblicazioni scientifiche
In tutto il mondo sono in via di sviluppostrumenti automatici, basati sull'intelligenzaartificiale, per aiutare o addirittura sostituire,gli esperti che effettuano la peer review, larevisione tra pari che rappresenta lo standardper la pubblicazione dei risultati scientifici.Ma negli algoritmi sono nascoste alcune insidie,e sono ancora gli esseri umani a decideredi Douglas Heaven/Nature
computer sciencecomunicazione della scienzapolitiche della ricercaLa maggior parte dei ricercatori ha buone ragioniper lamentarsi della peer review, o revisione trapari: richiede tempo ed è soggetta a errori, e ilcarico di lavoro è distribuito in modo non uniforme,se è vero che solo il 20 per cento degli scienziatigestisce gran parte delle revisioni.La peer review eseguita dall'intelligenza artificiale(IA) promette ora di migliorare il processo, aumentarela qualità degli articoli pubblicati e far risparmiaretempo ai revisori.Alcuni editori scientifici stanno sperimentandostrumenti di intelligenza artificiale che copronol'intero processo, dalla selezione dei revisori alcontrollo delle statistiche alla sintesi dei risultatidi un articolo.A giugno, un software chiamato StatReviewer,che controlla che le statistiche e le metodologiedei manoscritti siano validi, è stato adottato daAries Systems, un sistema di gestione della peerreview di proprietà del colosso editoriale Elsevier.
Werner Dieterich/AGFScholarOne, una piattaformadi peer review utilizzata da molte riviste, stacollaborando con UNSILO di Aarhus, in Danimarca,che usa l'elaborazione del linguaggio naturale el'apprendimento automatico per analizzare i manoscritti.UNSILO estrae automaticamente i concetti chiaveper riassumere ciò di cui tratta l'articolo.Essenziale, però, è che in tutti i casi il compito didecidere cosa fare di un manoscritto rimane al redattoredella rivista a cui viene sottoposto."Non sostituisce il giudizio editoriale, ma lo rendepiù semplice", afferma David Worlock, consulenteeditoriale del Regno Unito che ha visto una dimostrazionedi UNSILO alla Fiera del Libro di Francoforte il mese scorso.Chi decideUNSILO usa l'analisi semantica del testo delmanoscritto per estrarre quelle che individua comeaffermazioni fondamentali. Questo offre una panoramica migliore di un articolorispetto alle parole chiave che in genere vengonopresentate dagli autori, afferma Neil Christensen,direttore vendite di UNSILO."Troviamo le frasi importanti in quello che hannoeffettivamente scritto", dice, "invece di prenderesolo ciò che è venuto loro in mente cinque minutiprima di inviare l'articolo".UNSILO identifica poi quali di quelle frasi chiavehanno più probabilità di essere argomentazioni oscoperte, offrendo ai redattori una sintesi immediatadei risultati di uno studio. Inoltre, evidenzia se leaffermazioni sono simili a quelle di articoli pubblicatiin precedenza, il che potrebbe servire a rilevare unplagio o semplicemente a collocare il manoscrittonel contesto di un lavoro correlato a una letteraturapiù ampia."Lo strumento non prende decisioni", afferma Christensen."Sta solo dicendo:'Ecco alcune cose che emergono quando si confrontaquesto manoscritto con tutto ciò che è stato pubblicatoprima. La decisione spetta a te".Il prototipo di UNSILO prende informazioni daldatabase PubMed Central, che gli consente diconfrontare i nuovi manoscritti con il testo completodi 1,7 milioni di articoli di ricerca biomedica già pubblicati,un insieme di dati grande ma comunque limitato.L'azienda ha dichiarato che presto aggiungeràoltre 20 milioni di altri articoli da PubMed.La collaborazione con ScholarOne, di proprietà diClarivate Analytics di Philadelphia, consentirà diaccedere a molti altri ancora, compresi quelli deldatabase Web of Science di Clarivate.Risultati di una ricerca su PubMed, uno dei piùimportanti database online di articoli biomedici (Wikimedia Commons)Giuliano Maciocci, che guidaun gruppo di innovazione presso la rivista "eLife"a Cambridge, nel Regno Unito, afferma che UNSILOè una soluzione interessante per alcuni dei problemidella revisione tra pari, ma non è uno strumentoche "eLife" penserebbe di adottare."Non siamo del tutto convinti che possa essereparticolarmente utile nel contesto di una rivista comela nostra, in cui la cura manuale ed esperta è moltoimportante", afferma.Worlock osserva che stanno emergendo diversistrumenti simili. Egli fa parte del consiglio di amministrazionedi Wizdom.ai a Londra, una start-up di proprietà deglieditori Taylor & Francis, che sta sviluppando softwarein grado di analizzare database cartacei ed estrapolareconnessioni tra discipline e concetti diversi.Questo tipo di strumento, afferma Worlock, sarà utileanche al di là della peer review, per compiti come ledomande di finanziamento o le revisioni della letteratura.Dal plagio ai valori Molte piattaforme, tra cui ScholarOne, dispongono giàdi rilevatori automatici di plagio.E servizi come Penelope.ai esaminano se i riferimentie la struttura di un manoscritto soddisfano i requisitidi una rivista.Alcune possono anche segnalare problemi nellaqualità di uno studio. Lo strumento Statcheck,sviluppato da Michèle Nuijten, un metodologodell'Università di Tilburg nei Paesi Bassi e colleghi,valuta la coerenza dei contenuti statistici degliautori, concentrandosi sui valori p.La rivista "Psychological Science" gestisce tutti isuoi articoli con questo strumento, e Nuijten diceche altri editori sono desiderosi di integrarlo neiloro processi di revisione.Quando il gruppo di Nuijten ha analizzato articolipubblicati su riviste di psicologia ha scoperto checirca il 50 per cento conteneva almeno un'incoerenzastatistica.In un articolo su otto, l'errore era abbastanza serioda cambiare il significato statistico di un risultatopubblicato."È preoccupante", dice. Ma non è una sorpresa chei revisori non vedano quegli errori."Non tutti hanno il tempo di esaminare tutti i numeri.Ti concentri sui risultati principali o sulla trattazionegenerale".
Werner Dieterich/AGFPer ora, Statcheck si limitaall'analisi di manoscritti che seguono i criteridell'American Psychological Association per riportarele statistiche.Al contrario, i creatori di StatReviewer - Timothy Houledella School of Medicine della Wake Forest University,e Chadwick DeVoss, CEO della start-up tecnologicaNEX7 - sostengono che lo strumento può valutare lestatistiche in formati standard e stili di presentazionedi diverse discipline scientifiche. Per riuscirci, controllache includano correttamente elementi come ledimensioni del campione, le informazioni sulla procedurain cieco per i soggetti del campione e i dati al basale.StatReviewer può identificare anche alcuni indizi dicomportamenti fraudolenti, afferma DeVoss."Cose come: 'hanno giocato con alcune regolestatistiche o hanno messo a posto i dati sottoogni punto di vista'? Se il rischio è più alto di quelloche la rivista è abituata a vedere, si possonoesaminare i dettagli".Algoritmo sotto processoDeVoss afferma che StatReviewer viene testatoda decine di editori. Una prova del 2017 con l'editoreopen access BioMed Central di Londra è statainconcludente perché lo strumento non ha analizzatoabbastanza manoscritti, ma ha comunque fornitoalcune informazioni importanti (BioMed Central stapianificando un follow-up).StatReviewer ha evidenziato le lacune dei revisoriumani, afferma Amy Bourke-Waite, direttore dellecomunicazioni per la ricerca aperta presso SpringerNature, che possiede BioMed Central e pubblica"Nature" (il gruppo che si occupa delle news di"Nature" è editorialmente indipendente da SpringerNature). Per esempio, è stato utile per individuarearticoli che non soddisfacevano gli standard richiesti,come seguire CONSORT, un format per manoscrittousato da molti editori.Bourke-Waite riferisce anche che gli autori che hannopartecipato hanno dichiarato di essere felici dirispondere alle relazioni di StatReviewer quantolo sarebbero stati di farlo con un revisore umano.Di tanto in tanto, afferma, StatReviewer ha sbagliato,ma a volte i suoi errori hanno attirato l'attenzione degliautori su cose poco chiare nei loro manoscritti.I limiti dell'automazioneAnche se le prove avessero successo, DeVoss siaspetta che solo alcune riviste saranno disposte apagare per fare la scansione di tutti i loro manoscritti.Così, lui e i suoi colleghi si stanno rivolgendo agliautori, sperando che usino lo strumento percontrollare i loro manoscritti prima di sottoporlialle riviste.In generale, nell'uso dell'IA per la peer review cisono alcune potenziali insidie.Una preoccupazione è che gli strumenti di apprendimentoautomatico addestrati su articoli pubblicati inprecedenza potrebbero rafforzare i bias esistentinella peer review. "Se costruisci un sistema decisionalebasato sugli articoli che la tua rivista ha accettato inpassato, avrai dei bias impliciti", afferma Worlock.E se un algoritmo fornisce un singolo punteggiocomplessivo dopo aver valutato un articolo, comefa StatReviewer, i redattori potrebbero essere tentatidi non perdere altro tempo e di basarsi semplicementesu quel punteggio per decidere se rifiutare un articolo,spiega DeVoss.Gli algoritmi non sono ancora abbastanza intelligentida consentire a un redattore di accettare o rifiutareun articolo unicamente sulla base delle informazioniche estraggono, afferma Andrew Preston, co-fondatoredi Publons, una start-up di peer-review-tracking acquistata da Clarivate Analytics, che sta utilizzandol'apprendimento automatico per sviluppare unostrumento che consiglia gli esperti da usare come revisori."Questi strumenti possono assicurarsi che unmanoscritto sia all'altezza, ma non sostituisconoin alcun modo le valutazioni che farebbe un revisore".Nuijten è d'accordo:"Ci vorrà un po' di tempo per perfezionare glialgoritmi, ma vale la pena di automatizzare unsacco di cose perché molti elementi della revisionetra pari sono standardizzati".(L'originale di questo articolo è stato
pubblicato su "Nature" il 22 novembre 2018. Traduzione ed editing a cura