blogtecaolivelli

COMPUTER SCIENCE....

In tutto il mondo sono in via di sviluppo

strumenti automatici, basati sull'intelligenza

artificiale, per aiutare o addirittura sostituire,

gli esperti che effettuano la peer review, la

revisione tra pari che rappresenta lo standard

per la pubblicazione dei risultati scientifici.

Ma negli algoritmi sono nascoste alcune insidie,

e sono ancora gli esseri umani a decideredi

Douglas Heaven/Nature

computer sciencecomunicazione della scienzapolitiche della ricerca

La maggior parte dei ricercatori ha buone

ragioni per lamentarsi dellapeer review, o

revisione tra pari: richiede tempo ed è

soggetta a errori, e il carico di lavoro è

distribuito in modo non uniforme, se è

vero che solo il 20 per cento degli scienziati

gestisce gran parte delle revisioni.

La peer review eseguita dall'intelligenza

artificiale (IA) promette ora di migliorare il

processo, aumentare la qualità degli articoli

pubblicati e far risparmiare tempo ai revisori.

Alcuni editori scientifici stanno sperimentando

strumenti di intelligenza artificiale che coprono

l'intero processo, dalla selezione dei revisori

al controllo delle statistiche alla sintesi dei

risultati di un articolo.

A giugno, un software chiamato StatReviewer,

che controlla che le statistiche e le metodologie

dei manoscritti siano validi, è stato adottato da

Aries Systems, un sistema di gestione della

peer review di proprietà del colosso

editoriale Elsevier.

Werner Dieterich/AGFScholarOne, una piattaforma di peer

review utilizzata da molte riviste, sta collaborando

con UNSILO di Aarhus, in Danimarca, che usa

l'elaborazione del linguaggio naturale e l'apprendimento

automatico per analizzare i manoscritti.

UNSILO estrae automaticamente i concetti chiave

per riassumere ciò di cui tratta l'articolo.

Essenziale, però, è che in tutti i casi il compito di

decidere cosa fare di un manoscritto rimane al

redattore della rivista a cui viene sottoposto.

"Non sostituisce il giudizio editoriale, ma lo rende

più semplice", afferma David Worlock, consulente

editoriale del Regno Unito che ha visto una

dimostrazione di UNSILO alla Fiera del Libro di

Francoforte il mese scorso.

Chi decide
UNSILO usa l'analisi semantica del testo del

manoscritto per estrarre quelle che individua come

affermazioni fondamentali.

 Questo offre una panoramica migliore di un articolo

rispetto alle parole chiave che in genere vengono

presentate dagli autori, afferma Neil Christensen,

direttore vendite di UNSILO.

"Troviamo le frasi importanti in quello che hanno

effettivamente scritto", dice, "invece di prendere

solo ciò che è venuto loro in mente cinque minuti

prima di inviare l'articolo".

UNSILO identifica poi quali di quelle frasi chiave

hanno più probabilità di essere argomentazioni o

scoperte, offrendo ai redattori una sintesi immediata

dei risultati di uno studio. Inoltre, evidenzia se le

affermazioni sono simili a quelle di articoli pubblicati

in precedenza, il che potrebbe servire a rilevare un

plagio o semplicemente a collocare il manoscritto

nel contesto di un lavoro correlato a una letteratura

più ampia.

"Lo strumento non prende decisioni", afferma

Christensen. "Sta solo dicendo:

'Ecco alcune cose che emergono quando si confronta

questo manoscritto con tutto ciò che è stato pubblicato

prima. La decisione spetta a te".

Il prototipo di UNSILO prende informazioni dal

database PubMed Central, che gli consente di

confrontare i nuovi manoscritti con il testo completo

di 1,7 milioni di articoli di ricerca biomedica già

pubblicati, un insieme di dati grande ma comunque limitato.

L'azienda ha dichiarato che presto aggiungerà

oltre 20 milioni di altri articoli da PubMed.

La collaborazione con ScholarOne, di proprietà

di Clarivate Analytics di Philadelphia, consentirà

di accedere a molti altri ancora, compresi quelli

del database Web of Science di Clarivate.

Risultati di una ricerca su PubMed, uno dei più

importanti database online di articoli biomedici

(Wikimedia Commons)Giuliano Maciocci, che guida

un gruppo  di innovazione presso la rivista "eLife"

a Cambridge, nel Regno Unito, afferma che UNSILO

è una soluzione interessante per alcuni dei problemi

della revisione tra pari, ma non è uno strumento che

"eLife" penserebbe di adottare.

"Non siamo del tutto convinti che possa essere

particolarmente utile nel contesto di una rivista

come la nostra, in cui la cura manuale ed esperta

è molto importante", afferma.

Worlock osserva che stanno emergendo diversi

strumenti simili. Egli fa parte del consiglio di

amministrazione di Wizdom.ai a Londra, una start-up

di proprietà degli editori Taylor & Francis, che sta

sviluppando software in grado di analizzare data-

base cartacei ed estrapolare connessioni tra discipline

e concetti diversi.

Questo tipo di strumento, afferma Worlock, sarà

utile anche al di là della peer review, per compiti

come le domande di finanziamento o le revisioni

della letteratura.

Dal plagio ai valori p
Molte piattaforme, tra cui ScholarOne, dispongono

già di rilevatori automatici di plagio.

E servizi come Penelope.ai esaminano se i

riferimenti e la struttura di un manoscritto

soddisfano i requisiti di una rivista.

Alcune possono anche segnalare problemi nella

qualità di uno studio.

Lo strumento Statcheck, sviluppato da Michèle

Nuijten, un metodologo dell'Università di Tilburg

nei Paesi Bassi e colleghi, valuta la coerenza dei

contenuti statistici degli autori, concentrandosi

sui valori p. La rivista "Psychological Science"

gestisce tutti i suoi articoli con questo strumento,

e Nuijten dice che altri editori sono desiderosi di

integrarlo nei loro processi di revisione.

Quando il gruppo di Nuijten ha analizzato articoli

pubblicati su riviste di psicologia ha scoperto che

circa il 50 per cento conteneva almeno un'incoerenza

statistica. In un articolo su otto, l'errore era

abbastanza serio da cambiare il significato statistico

di un risultato pubblicato.

"È preoccupante", dice.

Ma non è una sorpresa che i revisori non vedano

quegli errori.

"Non tutti hanno il tempo di esaminare tutti i numeri.

Ti concentri sui risultati principali o sulla trattazione

generale".

Werner Dieterich/AGFPer ora, Statcheck si limita

all'analisi di manoscritti che seguono i criteri

dell'American Psychological Association per riportare

le statistiche.

Al contrario, i creatori di StatReviewer - Timothy

Houle della School of Medicine della Wake Forest

University, e Chadwick DeVoss, CEO della start-up

tecnologica NEX7 - sostengono che lo strumento può

valutare le statistiche in formati standard e stili di

presentazione di diverse discipline scientifiche.

Per riuscirci, controlla che includano correttamente

elementi come le dimensioni del campione,

le informazioni sulla procedura in cieco per i soggetti

del campione e i dati al basale.

StatReviewer può identificare anche alcuni indizi di

comportamenti fraudolenti, afferma DeVoss.

"Cose come: 'hanno giocato con alcune regole

statistiche o hanno messo a posto i dati sotto

ogni punto di vista'? Se il rischio è più alto di quello

che la rivista è abituata a vedere, si possono

esaminare i dettagli".

Algoritmo sotto processo

DeVoss afferma che StatReviewer viene testato

da decine di editori. Una prova del 2017 con

l'editore open access BioMed Central di Londra

è stata inconcludente perché lo strumento non

ha analizzato abbastanza manoscritti, ma ha

comunque fornito alcune informazioni importanti

(BioMed Central sta pianificando un follow-up).

StatReviewer ha evidenziato le lacune dei

revisori umani, afferma Amy Bourke-Waite,

direttore delle comunicazioni per la ricerca

aperta presso Springer Nature, che possiede

BioMed Central e pubblica "Nature" (il gruppo

che si occupa delle news di "Nature" è

editorialmente indipendente da Springer Nature).

Per esempio, è stato utile per individuare articoli

che non soddisfacevano gli standard richiesti,

come seguire CONSORT, un format per manoscritto

usato da molti editori.

Bourke-Waite riferisce anche che gli autori che

hanno partecipato hanno dichiarato di essere

felici di rispondere alle relazioni di StatReviewer

quanto lo sarebbero stati di farlo con un revisore

umano.

Di tanto in tanto, afferma, StatReviewer ha

sbagliato, ma a volte i suoi errori hanno attirato

l'attenzione degli autori su cose poco chiare nei

loro manoscritti.

I limiti dell'automazione

Anche se le prove avessero successo, DeVoss

si aspetta che solo alcune riviste saranno disposte

a pagare per fare la scansione di tutti i loro manoscritti.

Così, lui e i suoi colleghi si stanno rivolgendo agli

autori, sperando che usino lo strumento per

controllare i loro manoscritti prima di sottoporli

alle riviste.

In generale, nell'uso dell'IA per la peer review ci

sono alcune potenziali insidie.

Una preoccupazione è che gli strumenti di

apprendimento automatico addestrati su articoli

pubblicati in precedenza potrebbero rafforzare

i bias esistenti nella peer review.

"Se costruisci un sistema decisionale basato

sugli articoli che la tua rivista ha accettato in

passato, avrai dei bias impliciti", afferma

Worlock.

E se un algoritmo fornisce un singolo punteggio

complessivo dopo aver valutato un articolo,

come fa StatReviewer, i redattori potrebbero

essere tentati di non perdere altro tempo e

di basarsi semplicemente su quel punteggio

per decidere se rifiutare un articolo, spiega

DeVoss.

Gli algoritmi non sono ancora abbastanza

intelligenti da consentire a un redattore di

accettare o rifiutare un articolo unicamente

sulla base delle informazioni che estraggono,

afferma Andrew Preston, co-fondatore di

Publons, una start-up di peer-review-tracking 

acquistata da Clarivate Analytics, che sta

utilizzando l'apprendimento automatico per

sviluppare uno strumento che consiglia gli

esperti da usare come revisori.

"Questi strumenti possono assicurarsi che un

manoscritto sia all'altezza, ma non sostituiscono

in alcun modo le valutazioni che farebbe un revisore".

Nuijten è d'accordo:

"Ci vorrà un po' di tempo per perfezionare gli

algoritmi, ma vale la pena di automatizzare un

sacco di cose perché molti elementi della revisione

tra pari sono standardizzati".

(L'originale di questo articolo è stato

 pubblicato su "Nature" il 22 novembre 2018. 

Traduzione ed editing a cura di Le Scienze.

Riproduzione autorizzata, tutti i diritti riservati.)