Metriche ingannevoli: la proliferazione dei finti impact factor

4 Oct 2017

Purtroppo nel mondo delle pubblicazioni scientifiche online le frodi e le scorrettezze sono frequenti. A complicare le cose, spesso non è nemmeno semplice capire se ci si trovi davanti a una frode o più semplicemente a una iniziativa di qualità scadente.

Non parliamo però di predatory publisher, in questo momento, quanto piuttosto di un fenomeno meno trattato: le cosiddette misleading metrics.

La metrica più famosa – nel bene e nel male – è l’Impact Factor™,¹ una metrica specifica per le riviste scientifiche e che determina l’impatto di una pubblicazione rispetto alla comunità scientifica. L’indicatore è specifico per riviste, non dice nulla sui singoli articoli, ma finisce per determinare di riflesso anche la rilevanza di un articolo e dei suoi autori. Da qui impiega poco a percolando nella valutazione del rendimento dei ricercatori, avendo quindi un ruolo nel determinare le loro carriere.²

La rilevanza sempre più crescente di questa metrica (e le conseguenti ansie per autori e redazioni) ha portato alla proliferazione di una serie di metriche alternative che usano più o meno subdolamente il termine Impact Factor o variazioni sul tema. Alcune offrono un “impact factor” o derivati (“General Impact Factor”, “Global Impact Factor” etc.), altre un più cauto “Influence Factor” o più semplicemente un “Cite Factor”.³

I criteri

Jeffrey Beall aveva definito il fenomeno individuando una serie di criteri per distinguere una metrica fasulla, che riporto con parafrasi qui, ma si può rileggere in originale:³

1. Scarsa trasparenza sul progetto e sul sito, sede della società, staff etc.
2. La società chiede soldi alle riviste per l’inclusione
3. I valori o punteggi delle metriche aumentano di anno in anno per quasi tutte le riviste indicizzate
4. La società utilizza i dati di Google Scholar per il calcolo delle metriche (Google Scholar non filtra per qualità e indicizza anche riviste predatorie)
5. La metrica contiene nel nome il termine “impact factor”
6. La metodologia per calcolare i valori è artificiosa, priva di scientificità o non originale
7. La società esiste solamente per guadagnare soldi da riviste di qualità ed eticità dubbia⁴ che chiedono tariffe agli autori e che trarrebbero beneficio dal punteggio per attrarre ulteriori autori paganti. O in alternativa la società è direttamente collegata a un editore e assegna un punteggio alle proprie riviste⁵

Mi sentirei abbastanza tranquillo a modificare i punti 4 e 6 con una formulazione un po’ più semplice, ossia che di norma questi servizi riportano criteri generici per il calcolo delle metriche e tendenzialmente nessuna informazione sulla base di dati da cui vengono estratte le citazioni (il che implica che nella migliore delle ipotesi verrà impiegato Google Scholar, nella peggiore avremo numeri a caso).

Il database utilizzato è fondamentale nel calcolo di una metrica ed è per questo che al momento due sole aziende forniscono una metrica per la valutazione dell’impatto delle riviste: Clarivate Analytics con l’Impact Factor ed Elsevier con il Cite Score. Sono le uniche aziende ad avere un database bibliografico selettivo da cui sono in grado di estrarre il conteggio delle citazioni (rispettivamente Web of Science e Scopus), ed è quello il loro prodotto principale in vendita: il database; non vendono inoltre il calcolo del punteggio alle singole riviste ma l’insieme dei punteggi alle istituzioni (università e centri di ricerca).

A margine: anche Google Scholar effettua un’estrazione delle citazioni in maniera automatica, ma il suo database non è selettivo e avrei qualche dubbio anche sull’affidabilità dell’estrazione delle citazioni. Penso che le cose cambieranno in fretta grazie al progetto I4OC: Initiative for Open Citations, che quindi mi sento in dovere di citare,⁶ ma purtroppo non posso dire di conoscerlo, al momento.

Confusione di sigle

Mi son ritrovato davanti a un caso specifico di recente, e credo sia un buon esempio di iniziativa borderline tra scarsa qualità e malafede:
ISI: International Scientific Indexing⁷. Parlo di progetto borderline perché a differenza di altri sembra più strutturato e anche perché – con mio stupore – pare essere effettivamente utilizzato anche da ricercatori.
Lascio a voi giudicare.

Va innanzitutto segnalato che ISI dichiara di assegnare un impact factor alle riviste, salvo che questo sarebbe in violazione di un marchio registrato: gli unici a poter utilizzare il termine “Impact Factor” su un proprio prodotto sono i proprietari di Web of Science e di InCites Journal Citation Report. Proseguendo si nota che l’uso di nomi che possono confondere non si limita all’IF.

Tra le poche informazioni che si trovano sul suo funzionamento mi è caduto l’occhio su questa frase:

b. Secondly you need to pay the indexing fee which is $30 per journal on the this page and if you want us to calculate the impact factor for your journal based on International Citation Report (ICR) you need to pay $100 per journal.⁸

A parte la richiesta di soldi per indicizzare e per calcolare la metrica (al punto successivo c’è uno sconto se si chiedono entrambe le cose in una sola volta), cos’è questo “International Citation Report (ICR)”?
Mistero quindi sul database utilizzato, ma anche una sensazione di deja-vù pensando al “Journal Citation Report” di Clarivate Analytics, che si trova anche come “InCites Journal Citation Report”.

La possibilità di confusione è ancora più grande se stiamo all’acronimo utilizzato dal servizio, “ISI”. Dove l’abbiamo già sentito? E se qualcuno se lo sta chiedendo: che è sto Clarivate Analytics?

Il famoso database bibliografico Web of Science e il JCR hanno un nuovo proprietario, con un nome bizzarro: Clarivate Analytics.⁹
L’azienda ha acquisito tutto il ramo scientifico di Thomson Reuters, che a sua volta aveva acquisito ISI, l’Institute for Scientific Information, che per un periodo si chiamò Thomson ISI.

Da qui si capisce come sia molto facile creare confusione e come cerchino di approfittarne servizi come questo International Scientific Indexing. Dal mio punto di vista ha una responsabilità anche il frequente cambio di nome e alla confusione nei prodotti di Web of Science. Quindi ne approfitto per una puntualizzazione.

Quindi Web of Science = IF?

No, per una rivista l’essere in Web of Science non implica il possedere un Impact Factor.

Web of Science è un insieme di collezioni (prodotti, se vogliamo); di questi la collezione più importante è la Web of Science Core Collection. La Core Collection è l’insieme di 4 prodotti selettivi, di cui uno appena nato:

• Science Citation Index
• Social Science Citation Index
• Art and Humanities Citation Index
• Emerging Sources Citation Index

Se di tutti i prodotti viene fatto un conteggio delle citazioni, è bene ricordare che solo i primi tre prodotti sono le collezioni altamente selettive, la cui ammissione implica un riconoscimento qualitativo rilevante.

L’Impact Factor non viene calcolato sulle citazioni di tutti i quattro prodotti, ma solo dei primi due (SCI e SSCI); Art and Humanities non da luogo a un Impact Factor; ESCI, come suggerisce il nome, è pensato per nuove realtà editoriali e come anticamera per l’ammissione a uno dei tre prodotti principali, quindi anch’esso non contribuisce al calcolo dell’Impact Factor.