Category Archives: Valutazione della ricerca

Una scienza senza qualità

DOI

1. Quantità e qualità: un confronto impossibile?

Enrico Mauro, in un articolo recente, critica così la valutazione quantitativa della ricerca ispirata ai princìpi del new public management :

Come parlare di qualità senza ridurla a quantità, senza numerizzarla per poterla quindi comparare e classificare? Come, in altri termini, evitare il paradosso di pesare «l’imponderabile della qualità»? La risposta di Jankélévitch appare tanto truistica da una data prospettiva quanto inconcepibile dalla prospettiva opposta: «la qualità si spiega con la qualità, si giustifica qualitativamente, così come l’amore immotivato che, girando nel cerchio della sua tautologia incondizionale, rifiuta di rendere conto e di rispondere Poiché ai Perché»1

 Je ne sais quoiProprio questo non so che, scrive Mauro, contraddistingue il lavoro del ricercatore in quanto “percorre l’inesplorato [e] non può garantire risultati decisivi, tanto meno su temi e in tempi e forme decisi a tavolino”. 2

Il funzionario che valuta la ricerca per via amministrativa adotta però criteri generali e dall’apparenza oggettiva, sia perché non può avere competenze specifiche su ciascuno degli oggetti da valutare, sia perché non può confrontarsi radicalmente con l’individualità essendo, in virtù della sua stessa funzione,3 animato da passioni ben diverse dall’amore immotivato. Può, anzi, addurre buone ragioni per rappresentare una simile tesi come mistica, elitistica ed esposta ad abusi, in quanto programmaticamente incapace di spiegarsi ai non iniziati: “molti sono i portatori di ferula, pochi gli estatici”.4

La bibliometria, vale a dire un più o meno sofisticato computo delle citazioni e delle pubblicazioni, è per il funzionario un controllo di qualità molto più chiaro ed efficace. Non è forse vero che le citazioni sono la moneta della scienza, con la quale i ricercatori riconoscono e pagano il loro debito verso le opere altrui?

L’efficienza complessiva di un simile controllo di qualità consentirà anche di minimizzare l’entità dei suoi fallimenti sia verso il basso, quando, operando come incentivo perverso, si presta a manipolazioni e frodi5 sia verso l’alto, quando induce a disconoscere il valore di contributi rilevanti ma con indici bibliometrici non particolarmente notevoli.6 A chi li contesta, il funzionario risponde ammettendo che esistono, ma che il loro numero è talmente esiguo da renderli irrilevanti: si tratta, in altri termini, di casi d’importanza meramente “aneddotica”.

2. Dalla parte della quantità

I. L’argomento dell’irrilevanza, quando è volto a minimizzare i fallimenti verso il basso dei metodi numerici di valutazione della ricerca, assume  una forma simile a questa:

…trovo piuttosto inutili la maggior parte delle argomentazioni sulla possibilità di manipolazione di informazioni bibliometriche quali il fattore d’impatto. La scienza stessa è manipolabile. Ci sono numerosi esempi di false scoperte o di comportamenti scorretti da parte degli scienziati. Ma la questione davvero interessante non è perché questo accade, ma come mai accada così raramente e così da essere quasi immancabilmente scoperto e punito.7

Sessantun’anni fa il sociologo della scienza Robert K. Merton sosteneva qualcosa di simile, ma con uno spirito diverso e un mondo che ancora non conosceva l‘Institute for Scientific information, con il suo database proprietario e il suo fattore d’impatto, né l’uso della bibliometria per la valutazione della ricerca, di stato e no. In ogni caso, senza dilungarsi in considerazioni retrospettive, il primo lato dell’argomento dell’irrilevanza può essere riassunto così: la bibliometria, di stato e no, fotografa un sistema editoriale trasparente e competitivo di controllo della qualità che riduce al minimo le manipolazioni e gli abusi.

II. Quando invece l’argomento dell’irrilevanza affronta i fallimenti verso l’alto, il funzionario lo svolgerà così: la bibliometria può essere inadeguata a individuare i ricercatori veramente rivoluzionari, ma non è disegnata per questo, bensì per valutare, nel breve termine, i medi e i mediocri, inducendoli a un’operosità a cui altrimenti  sarebbero alieni.  Nel lungo termine le idee rivoluzionarie dei Giordano Bruno o dei Galileo Galilei si affermeranno indipendentemente dai giudizi dell’autorità. E se i Bruno e i Galileo fossero vivi oggi, ai tempi della valutazione di stato, avrebbero la consolazione di rimanere nel grado più basso della carriera accademica senza finire al rogo o essere costretti all’abiura.

Quando la scienza è prodotta su scala industriale, occorre essere industriali anche nel controllo di qualità. Se il metodo di controllo assicura un buon livello medio della produzione complessiva, i falsi positivi che saranno scartati e sostituiti e i falsi negativi che verranno riconosciuti solo nel lungo termine sono compresi in un margine d’errore del tutto accettabile entro un sistema generalmente efficiente.

3. Pezzi unici

Chi non desidera invischiarsi nel paradosso del sorite,8 deve resistere alla tentazione di rispondere elencando l’ormai ricca letteratura dedicata alle distorsioni prodotte dalla bibliometria.  Quanti casi di falsi positivi e di falsi negativi si dovrebbero indicare perché i funzionari riconoscano che le distorsioni apportate da un uso inappropriato della bibliometria non sono mera “aneddotica”? Sempre uno in più…

Vale la pena tentare una strategia di risposta diversa, che non si basi su molti casi, ma ne adduca uno soltanto a modello. Il caso selezionato a questo fine è quello di una semplice informazione enciclopedica sottoposta al controllo permanente di una forma di revisione paritaria aperta e comunitaria.

Gli articoli delle riviste pubblicate dall’editore commerciale Franco Angeli sono dotati di un DOI (Digital Object Identifier) che, sul suo sito, è illustrato così.

Il DOI è il codice a barre della proprietà intellettuale: per saperne di più, clicca qui e qui.

Chi legge questa definizione è indotto a pensare che il sistema del DOI sia un succedaneo digitale del vecchio registro della Stationers’ Company, che elencava le esclusive di stampa di ciascun libro riconosciute ai suoi membri. Il sito ISO, però, ne dà una definizione ben diversa: il DOI è un’infrastruttura per l’identificazione persistente e univoca di oggetti di qualsiasi tipo. Ed è vero – afferma il  DOI Handbook –  che il sistema del DOI si concentra sull’amministrazione di entità a cui è connesso l’interesse della “proprietà” intellettuale, ma nulla vieta di chiedere e ottenere un DOI per qualsiasi altro oggetto che stia a cuore a una comunità di utenti.

L’editore italiano non sta facendo consapevolmente disinformazione. La sua definizione, riportata anche sulla Wikipedia italiana prima che venisse corretta,  è infatti tratta dalle pagine di mEDRA, l’agenzia europea di registrazione del DOI. Le voci corrispondenti della Wikipedia francese, tedesca, inglese e spagnola, non usando mEDRA come fonte, non cadono invece nell’equivoco.

Per correggere l’inesattezza presente nella Wikipedia italiana non è stato  necessario fare una ricerca originale: è stato sufficiente risalire da mEDRA al sito ISO e a quello della fondazione internazionale a cui fanno capo tutte le agenzie di registrazione del DOI. Ma, fuori dal controllo comunitario di Wikipedia, una definizione fuorviante continua a essere presente sul sito mEDRA e, a cascata, sul sito di un  frequentato editore scientifico commerciale e  anche nelle menti di tutti i ricercatori che distrattamente la leggono. Un pezzo difettoso, anche se scartato dove è stato possibile farlo, ha prodotto e continua a produrre una disinformazione estesa e durevole.

E non è solo e in primo luogo un problema di Wikipedia: il caso Wakefield, con i suoi morti evitabili, ha mostrato che anche il controllo di qualità delle riviste di alto impatto è soggetto a fallimenti i cui effetti sono estesi e durevoli.

Non importa, cioè, quante centinaia o migliaia di pagine di Wikipedia contengano informazioni accurate: la pagina sul DOI, finché non è stata corretta, dava, sul Digital object identifier, una definizione fuorviante che ha contribuito a diffondere degli errori persistenti. Né importa che The Lancet, dopo 12 anni, abbia ritirato l’articolo di Wakefield sul nesso fra vaccino MPR e autismo. La stessa reputazione di The Lancet, anzi, ha contribuito alla diffusione e alla persistenza di una teoria fin dall’inizio poco fondata.9

Gli utenti avvertiti di Wikipedia sanno che nessuna delle sue voci è definitiva e tutte sono continuamente soggette a revisione, che anzi, almeno in linea di principio, potrebbero essi stessi modificarle. I lettori di The Lancet sono invece indotti a credere che l’altissimo fattore d’impatto della rivista edita da Elsevier trasferisca l’eccellenza dal contenitore al contenuto, cioè dalla rivista agli articoli che pubblica: mentre la voce di Wikipedia è per definizione parte di un processo su cui non è ancora stata detta l’ultima parola, gli articoli di The Lancet, in un sistema di valutazione basato sulla bibliometria, non sono l’inizio, bensì il compimento di un procedura altamente selettiva.

Quanti fallimenti occorre addurre per dimostrare che non si tratta più di  “aneddotica”? Uno, o, meglio, uno per volta: le teorie scientifiche – così come le voci enciclopediche – non sono oggetti fungibili. La voce fuorviante di Wikipedia sul DOI non può essere rimpiazzata da una delle sue molte voci accurate di argomento botanico: occorre che qualcuno, artigianalmente, si dia la pena di consultare le fonti pertinenti, di inserire la correzione e di offrirne una giustificazione che convinca gli altri wikipediani. I processi enciclopedici – e a maggior ragione quelli scientifici – sono molto diversi dalla produzione di massa di oggetti intercambiabili, per la quale si può dire che il controllo di qualità funziona ottimamente se un prodotto su 10.000 risulta difettoso e obbliga a risarcire un solo cliente insoddisfatto su 10.000. Qui abbiamo a che fare con pezzi unici, che possono essere valutati solo caso per caso e ai cui difetti non può essere posto rimedio, come faremmo con un pezzo fallato uscito da una catena di montaggio, rimpiazzandolo con un altro pezzo identico.

Non c’è dunque nulla di mistico nel “non so che”. In effetti sappiamo benissimo che cos’è, ma solo di volta in volta, artigianalmente, e non una volta per tutte, in massa. Questa, in un guscio di noce, è la discrasia10 che rende difficile immaginare un sistema di valutazione della ricerca che sia adeguato alle dimensioni industriali della scienza e, allo stesso tempo, in grado di rendere giustizia all’individualità di ciascuna attività di ricerca – compresa quella solo compilativa alla base della correzione di poche righe in una voce di Wikipedia.

 

Tags:

Accessi: 112

Valutazione di stato e libertà della ricerca: una riflessione filosofico-giuridica

Particolare della Scuola di Atene di RaffaelloLa revisione paritaria (peer review) è una parte importante della procedura che conduce alla pubblicazione di un articolo in una rivista scientifica tradizionale, costruita e pensata per la tecnologia della stampa. A due o più studiosi di campi disciplinarmente pertinenti, selezionati discrezionalmente dalla redazione della rivista e protetti dall’anonimato, viene chiesto di pronunciarsi ex ante sulla pubblicabilità di un articolo. Quanto i revisori scartano non vede la luce; e, analogamente, rimangono nell’ombra i loro pareri e la loro eventuale conversazione con gli autori, che ha luogo solo per interposta persona. La revisione paritaria aperta ed ex post consente invece di rendere pubblica l’intera discussione e di riconoscere il merito dei revisori, i quali, come gli autori, rinunciano all’anonimato.
In questo spirito, il Bollettino telematico di filosofia politica propone due articoli:

Il primo testo critica la tesi esposta da Andrea Bonaccorsi nel recente La valutazione possibile. Teoria e pratica nel mondo della ricerca, Il Mulino, 2015, condensabile nella seguente affermazione: la valutazione è espressione degli imperativi istituzionali della scienza così come teorizzati da R.K. Merton. Per Roberto Caso, l’autore legge l’opera mertoniana in modo distorto e parziale e trascura la dimensione giuridica del rapporto tra norme formali poste dallo Stato nel processo valutativo e regole informali della scienza: è difficile trasformare quanto in Merton era l’ethos condiviso di una comunità scientifica autonoma in norme di diritto amministrativo senza alterarne profondamente la natura.  Infatti, il disegno della valutazione che Bonaccorsi rappresenta  come democratico, dialogico, condiviso e trasparente collide frontalmente con la prassi italiana dell’ANVUR, motore immobile di orrori giuridici nonché di un gigantesco contenzioso che consegna la vera e ultima valutazione ai giudici.

Il secondo testo si interroga sulle radici filosofiche di questi orrori. Per distinguere la riflessione della ragione teoretica e pratica dagli elementi empirici, prende le mosse da una concessione: fa finta  che il sistema di valutazione teorizzato da Bonaccorsi sia una fotografia – mertonianamente – fedele del modo in cui la comunità scientifica valuta se stessa. Ma, perfino con questa assunzione, la sua costruzione ha come esito un sistema di valutazione praticamente dispotico e teoreticamente retrogrado. Il sistema è dispotico perché trasforma un ethos informale e storico in una norma di diritto amministrativo fissa, che cessa di essere oggetto di scelta da parte della comunità scientifica; ed è retrogrado perché, stabilendo questa norma, cristallizza, come nel castello incantato della Bella addormentata nel bosco, l’evoluzione in un fermo-immagine non più superabile senza ulteriori interventi amministrativi. A questo argomento principale si aggiungono alcune parti accessorie: la prima si occupa della questione, proposta da Bonaccorsi, della verificabilità empirica di alcune tesi dei suoi critici; la seconda prende in esame un campione di citazioni addotte dall’autore a sostegno di alcuni passaggi argomentativi importanti.

Entrambi i contributi sono ispirati dalla prospettiva ideale e critica della scienza aperta, che è già in grado di orientare, perfino con gli strumenti attualmente esistenti, un sistema di valutazione più conforme al principio costituzionale della libertà  delle arti, delle scienze e del loro insegnamento.

Le istruzioni per chi desidera partecipare alla revisione paritaria aperta si trovano qui.

È ora possibile commentare entrambi gli articoli anche su SJScience.org, qui e qui.

DOI

DOI

Tags:

Accessi: 639

Classificazione delle riviste: un breve confronto fra l’ANVUR e la Directory of Open Access Journals

DOI

La Cassazione a Sezioni Unite, con una recentissima sentenza (Cass., sez. un., 28 febbraio 2017, n. 5058), analizzata su “Roars“, a conferma di quanto già stabilito dal Consiglio di Stato, indica con chiarezza qual è il vizio giuridico delle classificazioni ANVUR:

la mancata predeterminazione di criteri ex ante da porre a fondamento delle determinazioni dell’amministrazione.

In altre parole, le decisioni classificatorie dell’ANVUR in merito alle riviste, a dispetto dell’importanza che hanno per la valutazione della ricerca e l’accesso all’abilitazione scientifica nazionale, sono, eufemisticamente, arbitrarie. Per essere più chiari – si tratta pur sempre di deliberazioni amministrative in uno stato che vorrebbe essere di diritto – possiamo anche dire: le decisioni classificatorie dell’ANVUR sono, francamente,  dispotiche.

Immagine: bilancia della giustiziaIl DOAJ, da parte sua, pur non essendo un indice stilato da un’autorità amministrativa e non danneggiando chi preferisce percorrere altre strade, predetermina i suoi criteri ex ante. Qui, per esempio, uno dei redattori italiani del DOAJ li spiega in modo chiaro e dettagliato. Anche se non si tratta di un giudizio, chi fa domanda d’inclusione sa con quale metro la sua rivista verrà misurata.

Il DOAJ è debole, perché tiene in mano solo una bilancia mentre l’ANVUR è armata della spada del potere amministrativo. Chi ha l’onore di contribuirvi come redattore volontario sa che, per quanto i criteri siano stati affinati nel tempo, non potranno mai interamente catturare, nel bene e nel male, le molte cose in cielo e in terra che non riusciamo a sognare con  la nostra filosofia. Ma proprio questo è il suo pregio: il suo tentativo di costruire e di argomentare collettivamente una catalogazione di una parte del mondo della comunicazione scientifica non può diventare dispotico. A sostenerlo, infatti, c’è la debolezza di una bilancia e non la forza di una spada che fatica, a quanto pare, a contenersi  nei limiti del diritto.

Tags:

Accessi: 242

“Sono i [meta]dati, stupido”: perché Elsevier ha comprato SSRN

Queen Mary’s Psalter, Wikimedia commons A riprova di quanto sia pericoloso confondere un social medium accademico proprietario, ancorché relativamente accessibile, con un archivio ad accesso aperto, vale il recentissimo annuncio dell’acquisto di SSRN da parte della multinazionale dell’editoria scientifica Elsevier.  Anche se molti autori temono che i testi da loro depositati vengano resi meno accessibili, il rischio più serio non è questo. Elsevier, infatti, grazie a SSRN, e alla possibilità di connetterlo a Mendeley, di cui si era già impadronita in precedenza, metterà le mani su un’enorme quantità di metadati.
Come spiega Christopher M. Kelty in It’s the Data, Stupid: What Elsevier’s purchase of SSRN also means, SSRN in realtà non dispone di metadati particolarmente sofisticati: il numero degli autori, il numero di articoli per autore, il numero di scaricamenti e il numero di citazioni per articolo. Queste cifre, tuttavia, sono preziose perché vengono da un grande archivio accessibile, anche se non propriamente ad accesso aperto, e interdisciplinare, non connesso a nessuna aggregazione editoriale e a nessun sistema di metrica proprietario. La sua prospettiva, dunque, è molto più ampia di quella accessibile non soltanto a una singola riviste, ma anche a un singolo editore, per quanto grande possa essere.
Quindi: se le burocrazie accademiche e gli studiosi stessi continueranno a valutare e far valutare la loro ricerca con statistiche d’impatto, Elsevier potrà aiutarli a farlo – presumibilmente non a titolo gratuito.
Kelty suggerisce che il comunicato stampa di Elsevier:

Elsevier is actively linking data and analytics to its vast content base in ways no other potential SSRN partner can match. By connecting Mendeley, Scopus, ScienceDirect and its editorial systems, they’re helping researchers get a more complete picture of their research landscape. Institutions will also benefit with a better view of their researchers’ impact [corsivi miei].

debba essere tradotto così:

  • “helping researchers get a more complete picture” significa: “saremo in grado di produrre statistiche d’impatto applicabili al singolo ricercatore”;
  • “Institutions will also benefit” significa: “per queste statistiche le università saranno disposte a pagare un sacco di soldi”.

I metadati di SSRN erano già proprietari; con il suo acquisto si aggregheranno ad altri metadati entro un più ampio e pervasivo sistema editoriale proprietario, che, con tutta probabilità, pianifica di spostarsi dalla contestata e vulnerabile pubblicazione ad accesso chiuso a forme più avanzate di feudalesimo digitale.   Chi li comprerà accetterà, ancora una volta, che alla formazione dei criteri di valutazione della ricerca contribuiscano oligopoli il cui interesse è molto lontano da quello della scienza. Il mondo accademico che ci siamo costruiti, scrive Kelty, è un mondo in cui “un gran quantità di giudizi su qualità, reclutamento, avanzamento di carriera, conferimento di cattedre e premi è decisa da metriche poco trasparenti offerte da aziende a scopo di lucro.”

Ci va bene così? Se sì, possiamo lasciare i nostri articoli su SSRN avendo probabilmente poco da temere per la loro accessibilità. Se no, non è difficile spostarli  su un vero archivio ad accesso aperto.  Basta farlo.

Tags:

Accessi: 426