27 novembre 2018L'intelligenza artificiale in aiuto delle pubblicazioni scientifiche
In tutto il mondo sono in via di sviluppostrumenti automatici, basati sull'intelligenzaartificiale, per aiutare o addirittura sostituire,gli esperti che effettuano la peer review, larevisione tra pari che rappresenta lo standardper la pubblicazione dei risultati scientifici.Ma negli algoritmi sono nascoste alcune insidie,e sono ancora gli esseri umani a decideredi Douglas Heaven/Nature
computer sciencecomunicazione della scienzapolitiche della ricercaLa maggior parte dei ricercatori ha buoneragioni per lamentarsi dellapeer review, orevisione tra pari: richiede tempo ed èsoggetta a errori, e il carico di lavoro èdistribuito in modo non uniforme, se èvero che solo il 20 per cento degli scienziatigestisce gran parte delle revisioni.La peer review eseguita dall'intelligenzaartificiale (IA) promette ora di migliorare ilprocesso, aumentare la qualità degli articolipubblicati e far risparmiare tempo ai revisori.Alcuni editori scientifici stanno sperimentandostrumenti di intelligenza artificiale che copronol'intero processo, dalla selezione dei revisorial controllo delle statistiche alla sintesi deirisultati di un articolo.A giugno, un software chiamato StatReviewer,che controlla che le statistiche e le metodologiedei manoscritti siano validi, è stato adottato daAries Systems, un sistema di gestione dellapeer review di proprietà del colossoeditoriale Elsevier.
Werner Dieterich/AGFScholarOne, una piattaforma di peerreview utilizzata da molte riviste, sta collaborandocon UNSILO di Aarhus, in Danimarca, che usal'elaborazione del linguaggio naturale e l'apprendimentoautomatico per analizzare i manoscritti.UNSILO estrae automaticamente i concetti chiaveper riassumere ciò di cui tratta l'articolo.Essenziale, però, è che in tutti i casi il compito didecidere cosa fare di un manoscritto rimane alredattore della rivista a cui viene sottoposto."Non sostituisce il giudizio editoriale, ma lo rendepiù semplice", afferma David Worlock, consulenteeditoriale del Regno Unito che ha visto unadimostrazione di UNSILO alla Fiera del Libro diFrancoforte il mese scorso.Chi decideUNSILO usa l'analisi semantica del testo delmanoscritto per estrarre quelle che individua comeaffermazioni fondamentali. Questo offre una panoramica migliore di un articolorispetto alle parole chiave che in genere vengonopresentate dagli autori, afferma Neil Christensen,direttore vendite di UNSILO."Troviamo le frasi importanti in quello che hannoeffettivamente scritto", dice, "invece di prenderesolo ciò che è venuto loro in mente cinque minutiprima di inviare l'articolo".UNSILO identifica poi quali di quelle frasi chiavehanno più probabilità di essere argomentazioni oscoperte, offrendo ai redattori una sintesi immediatadei risultati di uno studio. Inoltre, evidenzia se leaffermazioni sono simili a quelle di articoli pubblicatiin precedenza, il che potrebbe servire a rilevare unplagio o semplicemente a collocare il manoscrittonel contesto di un lavoro correlato a una letteraturapiù ampia."Lo strumento non prende decisioni", affermaChristensen. "Sta solo dicendo:'Ecco alcune cose che emergono quando si confrontaquesto manoscritto con tutto ciò che è stato pubblicatoprima. La decisione spetta a te".Il prototipo di UNSILO prende informazioni daldatabase PubMed Central, che gli consente diconfrontare i nuovi manoscritti con il testo completodi 1,7 milioni di articoli di ricerca biomedica giàpubblicati, un insieme di dati grande ma comunque limitato.L'azienda ha dichiarato che presto aggiungeràoltre 20 milioni di altri articoli da PubMed.La collaborazione con ScholarOne, di proprietàdi Clarivate Analytics di Philadelphia, consentiràdi accedere a molti altri ancora, compresi quellidel database Web of Science di Clarivate.
Risultati di una ricerca su PubMed, uno dei piùimportanti database online di articoli biomedici(Wikimedia Commons)Giuliano Maciocci, che guidaun gruppo di innovazione presso la rivista "eLife"a Cambridge, nel Regno Unito, afferma che UNSILOè una soluzione interessante per alcuni dei problemidella revisione tra pari, ma non è uno strumento che"eLife" penserebbe di adottare."Non siamo del tutto convinti che possa essereparticolarmente utile nel contesto di una rivistacome la nostra, in cui la cura manuale ed espertaè molto importante", afferma.Worlock osserva che stanno emergendo diversistrumenti simili. Egli fa parte del consiglio diamministrazione di Wizdom.ai a Londra, una start-updi proprietà degli editori Taylor & Francis, che stasviluppando software in grado di analizzare data-base cartacei ed estrapolare connessioni tra disciplinee concetti diversi.Questo tipo di strumento, afferma Worlock, saràutile anche al di là della peer review, per compiticome le domande di finanziamento o le revisionidella letteratura.Dal plagio ai valori pMolte piattaforme, tra cui ScholarOne, dispongonogià di rilevatori automatici di plagio.E servizi come Penelope.ai esaminano se iriferimenti e la struttura di un manoscrittosoddisfano i requisiti di una rivista.Alcune possono anche segnalare problemi nellaqualità di uno studio.Lo strumento Statcheck, sviluppato da MichèleNuijten, un metodologo dell'Università di Tilburgnei Paesi Bassi e colleghi, valuta la coerenza deicontenuti statistici degli autori, concentrandosisui valori p. La rivista "Psychological Science"gestisce tutti i suoi articoli con questo strumento,e Nuijten dice che altri editori sono desiderosi diintegrarlo nei loro processi di revisione.Quando il gruppo di Nuijten ha analizzato articolipubblicati su riviste di psicologia ha scoperto checirca il 50 per cento conteneva almeno un'incoerenzastatistica. In un articolo su otto, l'errore eraabbastanza serio da cambiare il significato statisticodi un risultato pubblicato."È preoccupante", dice.Ma non è una sorpresa che i revisori non vedanoquegli errori."Non tutti hanno il tempo di esaminare tutti i numeri.Ti concentri sui risultati principali o sulla trattazionegenerale".
Werner Dieterich/AGFPer ora, Statcheck si limitaall'analisi di manoscritti che seguono i criteridell'American Psychological Association per riportarele statistiche.Al contrario, i creatori di StatReviewer - TimothyHoule della School of Medicine della Wake ForestUniversity, e Chadwick DeVoss, CEO della start-uptecnologica NEX7 - sostengono che lo strumento puòvalutare le statistiche in formati standard e stili dipresentazione di diverse discipline scientifiche.Per riuscirci, controlla che includano correttamenteelementi come le dimensioni del campione,le informazioni sulla procedura in cieco per i soggettidel campione e i dati al basale.StatReviewer può identificare anche alcuni indizi dicomportamenti fraudolenti, afferma DeVoss."Cose come: 'hanno giocato con alcune regolestatistiche o hanno messo a posto i dati sottoogni punto di vista'? Se il rischio è più alto di quelloche la rivista è abituata a vedere, si possonoesaminare i dettagli".Algoritmo sotto processoDeVoss afferma che StatReviewer viene testatoda decine di editori. Una prova del 2017 conl'editore open access BioMed Central di Londraè stata inconcludente perché lo strumento nonha analizzato abbastanza manoscritti, ma hacomunque fornito alcune informazioni importanti(BioMed Central sta pianificando un follow-up).StatReviewer ha evidenziato le lacune deirevisori umani, afferma Amy Bourke-Waite,direttore delle comunicazioni per la ricercaaperta presso Springer Nature, che possiedeBioMed Central e pubblica "Nature" (il gruppoche si occupa delle news di "Nature" èeditorialmente indipendente da Springer Nature).Per esempio, è stato utile per individuare articoliche non soddisfacevano gli standard richiesti,come seguire CONSORT, un format per manoscrittousato da molti editori.Bourke-Waite riferisce anche che gli autori chehanno partecipato hanno dichiarato di esserefelici di rispondere alle relazioni di StatReviewerquanto lo sarebbero stati di farlo con un revisoreumano.Di tanto in tanto, afferma, StatReviewer hasbagliato, ma a volte i suoi errori hanno attiratol'attenzione degli autori su cose poco chiare neiloro manoscritti.I limiti dell'automazioneAnche se le prove avessero successo, DeVosssi aspetta che solo alcune riviste saranno dispostea pagare per fare la scansione di tutti i loro manoscritti.Così, lui e i suoi colleghi si stanno rivolgendo agliautori, sperando che usino lo strumento percontrollare i loro manoscritti prima di sottoporlialle riviste.In generale, nell'uso dell'IA per la peer review cisono alcune potenziali insidie.Una preoccupazione è che gli strumenti diapprendimento automatico addestrati su articolipubblicati in precedenza potrebbero rafforzarei bias esistenti nella peer review."Se costruisci un sistema decisionale basatosugli articoli che la tua rivista ha accettato inpassato, avrai dei bias impliciti", affermaWorlock.E se un algoritmo fornisce un singolo punteggiocomplessivo dopo aver valutato un articolo,come fa StatReviewer, i redattori potrebberoessere tentati di non perdere altro tempo edi basarsi semplicemente su quel punteggioper decidere se rifiutare un articolo, spiegaDeVoss.Gli algoritmi non sono ancora abbastanzaintelligenti da consentire a un redattore diaccettare o rifiutare un articolo unicamentesulla base delle informazioni che estraggono,afferma Andrew Preston, co-fondatore diPublons, una start-up di peer-review-tracking acquistata da Clarivate Analytics, che stautilizzando l'apprendimento automatico persviluppare uno strumento che consiglia gliesperti da usare come revisori."Questi strumenti possono assicurarsi che unmanoscritto sia all'altezza, ma non sostituisconoin alcun modo le valutazioni che farebbe un revisore".Nuijten è d'accordo:"Ci vorrà un po' di tempo per perfezionare glialgoritmi, ma vale la pena di automatizzare unsacco di cose perché molti elementi della revisionetra pari sono standardizzati".(L'originale di questo articolo è stato
pubblicato su "Nature" il 22 novembre 2018. Traduzione ed editing a cura di Le Scienze. Riproduzione autorizzata, tutti i diritti riservati.)