Archives

A volte ritornano: la bibliometria nel bando PRIN PNRR 2022

Date:       2 Comments  

DOI

Poster of the movie Sometimes They Come Back All’inizio di ottobre si è diffusa la notizia che l’ANVUR, l’agenzia governativa nella quale si accentra la valutazione amministrativa della ricerca italiana, aveva formalmente sottoscritto l’Agreement on Reforming Research Assessment. Come la dichiarazione DORA e il Leiden Manifesto for Research Metrics, questo accordo include fra i suoi punti principali l’emancipazione della valutazione da analitiche commerciali quantitative quali il fattore d’impatto, l’indice H e le classifiche di università ed enti di ricerca, così da concentrare l’attenzione sulla qualità e sulla diversità della ricerca. L’Annex 1 del suo testo, ricapitolando convinzioni ormai diffuse,1 spiega perché:

I processi di valutazione che si affidano prevalentemente a sistemi di misurazione basati su riviste e pubblicazioni producono notoriamente, a danno della qualità, una cultura del ‘publish or perish’ incapace di riconoscere impostazioni differenti. Il predominio di sistemi di misura angusti fondati su riviste e pubblicazioni, spesso usati impropriamente nella valutazione della ricerca, può disconoscere contributi diversi e può influenzare negativamente la qualità e l’impatto della ricerca stessa. Può, per esempio, esaltare quantità e velocità a scapito di qualità e rigore, far emergere riviste e conferenze predatorie, incoraggiare a pubblicare in riviste ad accesso chiuso e a pagamento per il loro fattore d’impatto elevato anche se sono disponibili alternative ad accesso aperto, indurre a evitare il rischio per non ridurre la possibilità di venir pubblicati, produrre un’eccessiva attenzione alle classifiche a detrimento della collaborazione e far sprecare energie, tempo e denaro a ripetere il già fatto perché gli articoli sui risultati “negativi” rimangono largamente inediti. La valutazione della ricerca dovrebbe promuovere una cultura che riconosca la collaborazione, l’apertura e l’impegno sociale e offra opportunità a una pluralità di talenti.

L’ANVUR ha finora imposto la bibliometria in tutta la sua valutazione: anche per i settori detti “non bibliometrici” chi desidera diventare professore o commissario di concorso deve adeguarsi a valori-soglia quantitativi, basati sul numero di libri, nonché di articoli in riviste genericamente scientifiche e in “di classe A”, determinate tramite liste stilate dall’ANVUR medesima. La sua adesione formale all’accordo sarebbe dunque una notizia non irrilevante, sebbene non comporti la deposizione della spada, per così dire, ma solo l’annuncio della sostituzione della bilancia. Fuor di metafora, la firma promette di cambiare come si valuta ma non chi valuta: l’Anvur, da parte sua, rimane un’agenzia nominata dal governo che sottomette la ricerca italiana a una valutazione amministrativa e centralizzata anziché scientifica e distribuita.

Dovrebbe tuttavia destare stupore che il bando PRIN PNRR 2022 del 14 settembre 2022 richieda dati bibliometrici – obbligatori per fisica, ingegneria e scienze biologiche, e solo se disponibili per scienze umane e sociali – a chi presenta un progetto di ricerca candidandosi come principal investigator.

Si dirà: l’accordo europeo (p. 5) non mette interamente al bando la bibliometria, ma chiede solo di “fondare la valutazione della ricerca principalmente su una valutazione qualitativa in cui è centrale la revisione paritaria, sostenuta da un uso responsabile di indicatori quantitativi”. Però, come si evince dal fac-simile della domanda, aggiornato al 17 ottobre 2022, che gli aspiranti devono compilare, gli indicatori quantitativi richiesti sono tali che difficilmente se ne può immaginare un uso responsabile. Bando e modulistica sono disponibili qui; https://prin.mur.gov.it/Attachments/getAttachment?key=HopXv8NjF1Vb4NvuuAMfmQ== l’illustrazione a fianco riproduce quanto si trova alla pagina 5 del fac-simile, nel punto B2.

Salta subito agli occhi che al candidato viene richiesto l’Impact Factor dei suoi articoli, presumibilmente perché si ritiene che questo dato sia utile per valutarlo. Lo stesso inventore dell’IF, Eugene Garfield, raccomandava di non impiegarlo per valutare i ricercatori: com’è ampiamente noto, facilmente intuibile, e riconosciuto perfino da una sentenza del TAR del Lazio, un rapporto che pesa le citazioni complessive annuali degli articoli usciti su una rivista il biennio precedente è una misura che riguarda la rivista stessa e non i suoi singoli testi, alcuni dei quali possono essere citati poco o per nulla.

https://prin.mur.gov.it/Attachments/getAttachment?key=9L3fqE6vl9+EucB3/ELXtg==Il ministero ha pubblicato anche delle FAQ. L’illustrazione qui a fianco ne riproduce la parte sulla bibliometria.
A chiarimento di quanto implicito nel fac-simile, il MUR spiega che i fattori d’impatto delle riviste su cui sono usciti gli articoli dei candidati vanno sommati, senza compiere la normalizzazione raccomandata dal sesto punto del Leiden Manifesto for Research Metrics. Il numero di citazioni, tuttavia, varia fra disciplina e disciplina, e con esso il fattore d’impatto delle riviste: se gli IF delle riviste che hanno pubblicato gli articoli vengono semplicemente addizionati, i ricercatori che operano in campi a bassa intensità di citazioni verranno penalizzati a vantaggio di quanti lavorano in ambiti di intensità maggiore. E per mantenere quel pizzico di accidentalità tipico della carriera accademica, il MUR non prescrive di indicare l’IF che la rivista aveva quando l’articolo è stato pubblicato, ma quello attuale o l’ultimo disponibile: così – a proposito di scale oggettive – il valore di un articolo, oltre a dipendere dal suo contenitore e non dal suo contenuto, crescerà e decrescerà nel tempo avvenire con le fluttuazioni del fattore d’impatto della rivista che lo ha pubblicato. Si sta come d’autunno sugli alberi le foglie.

Anche i limiti dell’indice H, qui calcolato sul database proprietario Scopus, che è, in conflitto di interessi, sotto il controllo del più grande oligopolista dell’editoria scientifica commerciale, Elsevier, sono ben noti, tanto che è stato ripudiato dal suo stesso inventore in quanto generatore di conformismo.

La responsabilità del bando, che è uscito prima del suo insediamento, non ricade sul governo attualmente in carica, bensì su quello precedente, detto “dei migliori“. C’è anche una responsabilità dell’ANVUR? La risposta, questa volta, è no.

Sebbene tempestivamente denunciato da “Roars”, pochi si sono accorti che l’articolo 64 comma 3 del decreto-legge 31 maggio 2021 n. 77 ha cambiato, per il periodo della prima applicazione coincidente con la distribuzione dei fondi del PNRR, il nome e le modalità di composizione del Comitato Nazionale dei Garanti della Ricerca (CNGR), ora ribattezzato Comitato Nazionale per la Valutazione della Ricerca (CNVR). Il CNVR ha, fra l’altro, il compito di “indicare i criteri generali per le attività di selezione e valutazione dei progetti di ricerca” finanziati dal MUR. Nella prima applicazione del decreto, dunque, i sette membri del vecchio Comitato Nazionale dei Garanti della Ricerca rimangono in carica, ma vengono affiancati da otto membri nominati direttamente dal ministro dell’università e della ricerca, senza nessun vincolo oltre il rispetto della parità di genere.2 In altre parole, per decidere come e con quali criteri distribuire i fondi PRIN PNRR non solo il ministro può nominare chi vuole, ma i nominati, essendo otto, sono sufficienti per ottenere la maggioranza nelle deliberazioni del comitato – le quali dunque possono venir decise da valutatori di designazione interamente politica.

Con il Decreto 30 luglio 2021, n. 1004 del Ministro dell’Università e Ricerca, la ministra Messa ha provveduto a scegliere gli 8 nuovi componenti del CNVR: si possono leggere in questo articolo di “Roars”. È dunque un comitato con una maggioranza di diretta ed esclusiva emanazione politica che ha consentito questo uso della bibliometria inappropriato, irresponsabile, e perfino impugnabile davanti alla giustizia amministrativa. Per il TAR del Lazio era infatti chiaro già nel 2015 che, perfino se lo trattiamo impropriamente come indicatore di qualità e non di popolarità, il fattore d’impatto riguarda “la qualità complessiva delle singole riviste più che la qualità dei singoli articoli in esse contenuti e redatti dall’interessato”.

A un osservatore esterno i decreti e gli acronimi possono apparire vacui e tediosi esoterismi burocratici: ma in questa vacuità si cela una valutazione di stato ancor meno scientifica e ancora più sottomessa alla politica, specialmente entro un’università impoverita di denaro e di spirito che tende ad attribuire potere e prestigio a chi, ad arbitrio del principe, ottiene fondi per i propri progetti di ricerca. Il “governo dei migliori” si è baloccato irresponsabilmente con la bibliometria. Governi peggiori potranno seguire la via regolamentare che ha predisposto e fare di peggio.

Tags:

Accessi: 170

Una scienza senza qualità

Date:        Leave a comment on Una scienza senza qualità  

DOI

1. Quantità e qualità: un confronto impossibile?

Enrico Mauro, in un articolo recente, critica così la valutazione quantitativa della ricerca ispirata ai princìpi del new public management :

Come parlare di qualità senza ridurla a quantità, senza numerizzarla per poterla quindi comparare e classificare? Come, in altri termini, evitare il paradosso di pesare «l’imponderabile della qualità»? La risposta di Jankélévitch appare tanto truistica da una data prospettiva quanto inconcepibile dalla prospettiva opposta: «la qualità si spiega con la qualità, si giustifica qualitativamente, così come l’amore immotivato che, girando nel cerchio della sua tautologia incondizionale, rifiuta di rendere conto e di rispondere Poiché ai Perché»1

Je ne sais quoiProprio questo non so che, scrive Mauro, contraddistingue il lavoro del ricercatore in quanto “percorre l’inesplorato [e] non può garantire risultati decisivi, tanto meno su temi e in tempi e forme decisi a tavolino”. 2

Il funzionario che valuta la ricerca per via amministrativa adotta però criteri generali e dall’apparenza oggettiva, sia perché non può avere competenze specifiche su ciascuno degli oggetti da valutare, sia perché non può confrontarsi radicalmente con l’individualità essendo, in virtù della sua stessa funzione,3 animato da passioni ben diverse dall’amore immotivato. Può, anzi, addurre buone ragioni per rappresentare una simile tesi come mistica, elitistica ed esposta ad abusi, in quanto programmaticamente incapace di spiegarsi ai non iniziati: “molti sono i portatori di ferula, pochi gli estatici”.4

La bibliometria, vale a dire un più o meno sofisticato computo delle citazioni e delle pubblicazioni, è per il funzionario un controllo di qualità molto più chiaro ed efficace. Non è forse vero che le citazioni sono la moneta della scienza, con la quale i ricercatori riconoscono e pagano il loro debito verso le opere altrui?

L’efficienza complessiva di un simile controllo di qualità consentirà anche di minimizzare l’entità dei suoi fallimenti sia verso il basso, quando, operando come incentivo perverso, si presta a manipolazioni e frodi5 sia verso l’alto, quando induce a disconoscere il valore di contributi rilevanti ma con indici bibliometrici non particolarmente notevoli.6 A chi li contesta, il funzionario risponde ammettendo che esistono, ma che il loro numero è talmente esiguo da renderli irrilevanti: si tratta, in altri termini, di casi d’importanza meramente “aneddotica”.

2. Dalla parte della quantità

I. L’argomento dell’irrilevanza, quando è volto a minimizzare i fallimenti verso il basso dei metodi numerici di valutazione della ricerca, assume  una forma simile a questa:

…trovo piuttosto inutili la maggior parte delle argomentazioni sulla possibilità di manipolazione di informazioni bibliometriche quali il fattore d’impatto. La scienza stessa è manipolabile. Ci sono numerosi esempi di false scoperte o di comportamenti scorretti da parte degli scienziati. Ma la questione davvero interessante non è perché questo accade, ma come mai accada così raramente e così da essere quasi immancabilmente scoperto e punito.7

Sessantun’anni fa il sociologo della scienza Robert K. Merton sosteneva qualcosa di simile, ma con uno spirito diverso e in un mondo che ancora non conosceva l‘Institute for Scientific information, con il suo database proprietario e il suo fattore d’impatto, né l’uso della bibliometria per la valutazione della ricerca, di stato e no. In ogni caso, senza dilungarsi in considerazioni retrospettive, il primo lato dell’argomento dell’irrilevanza può essere riassunto così: la bibliometria, di stato e no, fotografa un sistema editoriale trasparente e competitivo di controllo della qualità che riduce al minimo le manipolazioni e gli abusi.

II. Quando invece l’argomento dell’irrilevanza affronta i fallimenti verso l’alto, il funzionario lo svolgerà così: la bibliometria può essere inadeguata a individuare i ricercatori veramente rivoluzionari, ma non è disegnata per questo, bensì per valutare, nel breve termine, i medi e i mediocri, inducendoli a un’operosità a cui altrimenti  sarebbero alieni.  Nel lungo termine le idee rivoluzionarie dei Giordano Bruno o dei Galileo Galilei si affermeranno indipendentemente dai giudizi dell’autorità. E se i Bruno e i Galilei fossero vivi oggi, ai tempi della valutazione di stato, avrebbero la consolazione di rimanere nel grado più basso della carriera accademica senza finire al rogo o essere costretti all’abiura.

Quando la scienza è prodotta su scala industriale, occorre essere industriali anche nel controllo di qualità. Se il metodo di controllo assicura un buon livello medio della produzione complessiva, i falsi positivi che saranno scartati e sostituiti e i falsi negativi che verranno riconosciuti solo nel lungo termine sono compresi in un margine d’errore del tutto accettabile entro un sistema generalmente efficiente.

3. Pezzi unici

Chi non desidera invischiarsi nel paradosso del sorite,8 deve resistere alla tentazione di rispondere elencando l’ormai ricca letteratura dedicata alle distorsioni prodotte dalla bibliometria.  Quanti casi di falsi positivi e di falsi negativi si dovrebbero indicare perché i funzionari riconoscano che le distorsioni apportate da un uso inappropriato della bibliometria non sono mera “aneddotica”? Sempre uno in più…

Vale la pena tentare una strategia di risposta diversa, che non si basi su molti casi, ma ne adduca uno soltanto a modello. Il caso selezionato a questo fine è quello di una semplice informazione enciclopedica sottoposta al controllo permanente di una forma di revisione paritaria aperta e comunitaria.

Gli articoli delle riviste pubblicate dall’editore commerciale Franco Angeli sono dotati di un DOI (Digital Object Identifier) che, sul suo sito, è illustrato così.

Il DOI è il codice a barre della proprietà intellettuale: per saperne di più, clicca qui e qui.

Chi legge questa definizione è indotto a pensare che il sistema del DOI sia un succedaneo digitale del vecchio registro della Stationers’ Company, che elencava le esclusive di stampa di ciascun libro riconosciute ai suoi membri. Il sito ISO, però, ne dà una definizione ben diversa: il DOI è un’infrastruttura per l’identificazione persistente e univoca di oggetti di qualsiasi tipo. Ed è vero – afferma il  DOI Handbook –  che il sistema del DOI si concentra sull’amministrazione di entità a cui è connesso l’interesse della “proprietà” intellettuale, ma nulla vieta di chiedere e ottenere un DOI per qualsiasi altro oggetto che stia a cuore a una comunità di utenti.

L’editore italiano non sta facendo consapevolmente disinformazione. La sua definizione, riportata anche sulla Wikipedia italiana prima che venisse corretta,  è infatti tratta dalle pagine di mEDRA, l’agenzia europea di registrazione del DOI. Le voci corrispondenti della Wikipedia francese, tedesca, inglese e spagnola, non usando mEDRA come fonte, non cadono invece nell’equivoco.

Per correggere l’inesattezza presente nella Wikipedia italiana non è stato  necessario fare una ricerca originale: è stato sufficiente risalire da mEDRA al sito ISO e a quello della fondazione internazionale a cui fanno capo tutte le agenzie di registrazione del DOI. Ma, fuori dal controllo comunitario di Wikipedia, una definizione fuorviante continua a essere presente sul sito mEDRA e, a cascata, sul sito di un  frequentato editore scientifico commerciale e  anche nelle menti di tutti i ricercatori che distrattamente la leggono. Un pezzo difettoso, anche se scartato dove è stato possibile farlo, ha prodotto e continua a produrre una disinformazione estesa e durevole.

E non è solo e in primo luogo un problema di Wikipedia: il caso Wakefield, con i suoi morti evitabili, ha mostrato che anche il controllo di qualità delle riviste di alto impatto è soggetto a fallimenti i cui effetti sono estesi e durevoli.

Non importa, cioè, quante centinaia o migliaia di pagine di Wikipedia contengano informazioni accurate: la pagina sul DOI, finché non è stata corretta, dava, sul Digital object identifier, una definizione fuorviante che ha contribuito a diffondere degli errori persistenti. Né importa che The Lancet, dopo 12 anni, abbia ritirato l’articolo di Wakefield sul nesso fra vaccino MPR e autismo. La stessa reputazione di The Lancet, anzi, ha contribuito alla diffusione e alla persistenza di una teoria fin dall’inizio poco fondata.9

Gli utenti avvertiti di Wikipedia sanno che nessuna delle sue voci è definitiva e tutte sono continuamente soggette a revisione, che anzi, almeno in linea di principio, potrebbero essi stessi modificarle. I lettori di The Lancet sono invece indotti a credere che l’altissimo fattore d’impatto della rivista edita da Elsevier trasferisca l’eccellenza dal contenitore al contenuto, cioè dalla rivista agli articoli che pubblica: mentre la voce di Wikipedia è per definizione parte di un processo su cui non è ancora stata detta l’ultima parola, gli articoli di The Lancet, in un sistema di valutazione basato sulla bibliometria, non sono l’inizio, bensì il compimento di un procedura altamente selettiva.

Quanti fallimenti occorre addurre per dimostrare che non si tratta più di  “aneddotica”? Uno, o, meglio, uno per volta: le teorie scientifiche – così come le voci enciclopediche – non sono oggetti fungibili. La voce fuorviante di Wikipedia sul DOI non può essere rimpiazzata da una delle sue molte voci accurate di argomento botanico: occorre che qualcuno, artigianalmente, si dia la pena di consultare le fonti pertinenti, di inserire la correzione e di offrirne una giustificazione che convinca gli altri wikipediani. I processi enciclopedici – e a maggior ragione quelli scientifici – sono molto diversi dalla produzione di massa di oggetti intercambiabili, per la quale si può dire che il controllo di qualità funziona ottimamente se un prodotto su 10.000 risulta difettoso e obbliga a risarcire un solo cliente insoddisfatto su 10.000. Qui abbiamo a che fare con pezzi unici, che possono essere valutati solo caso per caso e ai cui difetti non può essere posto rimedio, come faremmo con un pezzo fallato uscito da una catena di montaggio, rimpiazzandolo con un altro pezzo identico.

Non c’è dunque nulla di mistico nel “non so che”. In effetti sappiamo benissimo che cos’è, ma solo di volta in volta, artigianalmente, e non una volta per tutte, in massa. Questa, in un guscio di noce, è la discrasia10 che rende difficile immaginare un sistema di valutazione della ricerca che sia adeguato alle dimensioni industriali della scienza e, allo stesso tempo, in grado di rendere giustizia all’individualità di ciascuna attività di ricerca – compresa quella solo compilativa alla base della correzione di poche righe in una voce di Wikipedia.

 

Tags:

Accessi: 554

Integrità della ricerca: i numeri, gli uomini e la scienza

Date:       1 Comment  

DOI

Questo testo rielabora l’introduzione al convegno Scienza aperta e integrità della ricerca (Milano, 9-10 novembre 2017). Fino a che punto possiamo parlare di integrità della ricerca senza interrogarci, pregiudizialmente, sulla sua libertà? Gli interventi del convegno, ora disponibili qui, hanno offerto qualche tentativo di risposta.

1. R.K. Merton: una questione di pubblicità Rembrandt, Lezione di anatomia del dottor Tulp

Poco più di sessant’anni fa Robert K. Merton poteva permettersi di scrivere che le frodi vere e proprie – quali le truffe e le falsificazioni dei dati – erano relativamente rare nel mondo della scienza perché “personal honesty is supported by the public and testable character of science”.1 L’ethos della comunità scientifica dava infatti forma a un sistema di autocontrollo diffuso, basato sull’equilibrio dei due valori divergenti del riconoscimento dell’originalità e del servizio disinteressato alla verità, che consisteva nell’esposizione di tutte le pretese teoriche, sperimentali e no, all’uso pubblico della ragione. Questa garanzia procedurale, in grado di trascendere i singoli e la loro eventuale onestà, è conseguenza di un’innovazione della rivoluzione scientifica moderna: la pubblicità della ricerca,2 sia pure negli ambienti circoscritti delle accademie3 ed entro i limiti economici, giuridici e tecnologici propri della stampa.

Per cogliere la differenza, che è del tutto evidente, tra la magia rinascimentale e la scienza moderna, è necessario riflettere, non solo sui contenuti e sui metodi, ma sulle immagini del sapere e sulle immagini del sapiente. Nel nostro mondo sono certo presenti molti segreti, e in esso vivono molti teorici e pratici degli arcana imperii. Ci sono anche moltissime e spesso non «oneste» dissimulazioni. Anche nella storia della scienza sono stati presenti dei dissimulatori. Va tuttavia sottolineato che, dopo la prima rivoluzione scientifica, nella letteratura scientifica e nella letteratura sulla scienza non esiste né potrà più esistere – a differenza di quanto è largamente accaduto e accade nel mondo della politica – un elogio o una valutazione positiva della dissimulazione. Dissimulare, non rendere pubbliche le proprie opinioni vuol dire solo truffare o tradire. Gli scienziati, in quanto costituiscono una comunità, possono essere costretti alla segretezza, ma devono, appunto, essere costretti. Quando una tale costrizione si verifica, variamente protestano o addirittura, come anche in questo secolo è avvenuto, si ribellano a essa con decisione. La particella di nell’espressione linguistica «leggi di Keplero» non indica affatto una proprietà: serve solo a perpetuare la memoria di un grande personaggio. La segretezza, per la scienza e all’interno della scienza, è diventata un disvalore. 4

2. Dalla sociologia della scienza alla bibliometria

Sessant’anni dopo pare più difficile credere che la scienza sappia auto-correggersi in virtù del suo carattere pubblico e comprovabile.

Today, there are compelling reasons to doubt that science as a whole is self-correcting. We are not the first to recognise this problem. Scientists have proposed open-data, open access, post-publication peer review, meta-studies and efforts to reproduce landmark studies as practices to help compensate for the high error rates in modern science. Beneficial as these corrective measures might be, perverse incentives on individuals and institutions remain the root problem.5

La stessa apposizione di un marchio di scientificità a quanto è uscito su riviste in seguito a revisione paritaria anonima sembra affetta, oltre che da ipercompetizione, da un difetto di trasparenza, come se la “pubblicazione” non fosse più il medium della pubblicità e dimostrabilità della scienza descritta da Merton, e anzi – così suggeriscono i curatori di Retraction Watch – fosse proprio il culto dell’articolo pubblicato a render difficile, o vana, la discussione pubblica e la condivisione dei dati.

Siamo convinti che sarebbe più facile correggere la letteratura scientifica se il nostro sistema di riconoscimento accademico non trattasse l’articolo pubblicato come un oggetto così sacro. È comprensibile che scienziati consapevoli che il loro futuro dipende dalle loro pubblicazioni siano riluttanti a macchiare la loro lista con ritrattazioni. Dobbiamo sostituire tali incentivi con ricompense per la condivisione di dati aperti, la revisione paritaria ex post e altre attività che riflettano il modo in cui desideriamo funzioni la scienza – incoraggiando chi si impegna onestamente sia a produrre i migliori risultati sia a correggere gli errori propri e altrui.6

3. Sociologia della scienza o teoria sociologica della conoscenza?

Da dove vengono gli “incentivi perversi” e l’”abuso dei sistemi di misura quantitativi” denunciati da Edwards e Roy, e non soltanto da loro? La prima indiziata sembra la sociologia della scienza: proprio perché la scienza dispone, o disponeva, di un sistema di comunicazione che era, almeno nell’età della stampa, relativamente pubblico e dimostrabile, in cui le citazioni con le quali gli studiosi richiamano le opere altrui sarebbero – o sarebbero state – una sorta di moneta, il loro computo può apparire una scorciatoia per valutare la ricerca senza dover, a propria volta, fare ricerca.

È – mertonianamente – legittimo trarre dalla sociologia della scienza delle regolarità da impiegare come norme di qualità scientifica?

La sociologia dell’ethos scientifico di R.K. Merton, sebbene spesso letta come un’idealizzazione, voleva essere la descrizione di una serie di norme informali che ispira(va?)no le comunità scientifiche europee sviluppatesi nell’età moderna.7 Non voleva, però, essere una teoria sociologica della conoscenza: una teoria, cioè, che non si limita a descrivere le norme riconosciute da una comunità scientifica, ma si pretende in grado di identificare le condizioni sociali della conoscenza valida. Una cosa, infatti, è indagare sull’ethos di una comunità scientifica storicamente configurata; un’altra, e ben diversa, è sostenere che le norme sociali informali che hanno accompagnato una sua particolare costruzione storica siano i criteri di validità della scienza in generale.

Chi usa la bibliometria per la valutazione della ricerca cade esattamente nell’equivoco contro cui Merton ammoniva: se, da sociologo della scienza, ho constatato empiricamente che le citazioni sono, o sono state, la moneta della scienza, allora posso valutare la ricerca semplicemente contandole, senza avere le competenze per comprenderle e discuterle. Il risultato di questa generalizzazione attraente ma fallace sarà che i ricercatori verranno indotti a scrivere non per diffondere le loro ricerche e offrirle alla discussione, ma per farsi citare.8 Le riviste su cui si calcolano questi punteggi, da mezzi che erano, si trasformeranno in fini, e diventeranno appetibili, a dispetto del loro pubblico di nicchia, agli oligopoli commerciali privati. Come sapeva lo stesso Merton, la riflessività delle scienze sociali le rende esse stesse esposte al paradosso essenziale dell’azione sociale. E proprio per questo anche le scienze sociali hanno il loro principio di indeterminazione, la legge di Goodhart:

When a measure becomes a target, it ceases to be a good measure.

4. Matematica e misantropia

I modelli matematici sono semplificazioni basate su una selezione di quanto, nella complessità del mondo, si ritiene rilevante: i loro punti ciechi riflettono i giudizi e i pregiudizi di chi li ha disegnati e di chi ne trae profitto.9 Se poi questi modelli fanno uso di dati vicari, che dovrebbero rappresentare una realtà più complicata e meno facilmente misurabile, non è sorprendente che il loro stesso successo li costringa nella legge di Goodhart.10

Questa gouvernance par les nombres può certo essere parte di quella trasformazione dell’università in un’azienda capitalistica di stato di cui era già consapevole Max Weber nel primo quarto del secolo scorso. Il meccanicismo burocratico, però, non promuove di per sé l’efficienza, soprattutto in un ambito difficile da meccanizzare perché vocato all’innovazione.11 Il perseguimento dell’”oggettività” di modelli e algoritmi, di giudizi spersonalizzati, aggregati e normalizzati, si basa su qualcosa di molto diverso – qualcosa che Platone, forse, avrebbe chiamato misologia.

Il carattere pubblico e dimostrabile della scienza ne facilita l’integrità, a condizione che ci siano persone disposte a parlare in pubblico, cioè a continuare la conversazione, come il Socrate del Fedone, anche a rischio di essere confutati o di diventare invisi a chi – monarca, popolo o tecnocrate – ha in mano il potere. Come il misantropo diffida della capacità delle persone di tendere all’onestà, così il misologo diffida della capacità dei ragionamenti di approssimarsi alla verità. La sua sfiducia, nel testo platonico, deriva da una sopravvalutazione delle proprie capacità e conoscenze, la quale gli fa credere di poter estrapolare un giudizio universale dal pochissimo che gli capita di aver esperito.12

Il misologo antico trovava il suo mestiere nella retorica, cioè nel discorso finalizzato a convincere utilmente e non a cercare inutilmente. Il misologo e misantropo contemporaneo, invece, ha pace nella quantificazione offertagli dai modelli matematici: se i giudizi dei singoli sono soggettivi, la loro aggregazione bibliometrica è invece, come per magia, oggettiva.

Come ha suggerito Giuseppe Longo, pensare che gli invarianti matematici siano l’essenza segreta degli oggetti della nostra esperienza è una forma di misticismo – forse molto più pitagorico che platonico.13 L’esoterismo dei dati chiusi e degli algoritmi moralmente indiscussi e indiscutibili di governance della società si confronta felicemente con la gerarchia di matematici ed acusmatici e con gli imbarazzanti segreti dell’antica setta di Crotone. Se poi la mistica numerica non viene solo insegnata e praticata per l’uso di adepti volontari, ma è imposta da un’autorità amministrativa centrale, il suo esito non sarà soltanto distorsivo: sarà inevitabilmente dispotico.

5. Deus ex machina: un’etica per la ricerca?

Come uscire da una crisi ormai avvertita perfino nelle sedi di qualche rivista Elsevier? Sarebbe sufficiente “attivare azioni di tipo culturale e di dissuasione, come codici etici e campagne di opinione che scoraggino comportamenti opportunistici”?14

Per rispondere a questa domanda, dobbiamo ricordare che la valutazione della ricerca è un esperimento di ingegneria sociale fondato sulla diffidenza – misantropica e misologica – nella capacità delle comunità scientifiche di valutarsi da sé. Algoritmi, modelli, incentivi e castighi sono stati annunciati e introdotti proprio per controllare e indirizzare meccanicamente ricercatori altrimenti “autoreferenziali”, pigri e nepotisti: ricercatori della cui etica, e quindi della cui libertà, si doveva diffidare. Introdurre sanzioni e premi per indurli a massimizzare la loro utilità producendo lavoro amministrativamente controllabile, si è pensato, li avrebbe regolati assai meglio della loro – abusiva – libertà. Se è così, però, dobbiamo chiederci se ricalare in scena l’etica come un deus ex machina non sia la confessione di un fallimento – o di un successo che sconta il paradosso essenziale dell’azione sociale.

Gli opportunisti fanno esattamente quello per cui sono stati addestrati: se il sistema di incentivi vigente ha insegnato loro che le citazioni e la pubblicazione in certe riviste sono più importanti del contenuto dei testi perché mai non dovrebbero cercare di massimizzare le citazioni e di produrre articoli commercialmente – ma non scientificamente – attraenti, adattandosi, da bravi homines oeconomici, al sistema che gli è stato imposto? Per fair play? Come ha scritto Barry Schwartz:

when you rely on incentives, you undermine virtues. Then when you discover that you actually need people who want to do the right thing, those people don’t exist because you’ve crushed anyone’s desire to do the right thing.

Richiamare in servizio l’etica dopo averla sostituita con un sistema di incentivazione di tipo meccanico non è soltanto difficile: è anche incoerente. Come sapeva Kant, non possiamo parlare di etica – o di diritto – senza postulare la libertà come sua condizione di possibilità. Per essere più che girarrosti caricati dalla molla degli incentivi, dovremmo condividere “lo spirito di una stima razionale del nostro valore e della vocazione di ogni essere umano a pensare da sé“. Ma questa condivisione, di nuovo, può aver luogo solo con la libertà dell’uso pubblico della ragione, cioè di rivolgerci a tutti parlando come studiosi, di scrivere per farci leggere e perfino criticare e non per piazzare testi inaccessibili in riviste bibliometricamente importanti o in piattaforme proprietarie che monetizzano il nostro narcisismo.

Una simile pubblicità, liberandoci dal Caesar supra grammaticos, non punterebbe su un sistema di incentivi e sanzioni amministrative fatalmente esposto al paradosso e all’abuso – cioè al dispotismo dall’alto e all’opportunismo da basso – ma ci chiederebbe di uscire di minorità per valutarci da noi: si tratta solo di capire se, nell’età dell’internet centralizzata 15 e del capitalismo delle piattaforme,16 e nel paese della valutazione di stato, siamo ancora in grado di farlo o è ormai troppo tardi.

  1. R.K. Merton, “Priorities in Scientific Discovery: A Chapter in the Sociology of Science”, American Sociological Review, Vol. 22, No. 6 (Dec., 1957), p. 651. ↩
  2. Non bisogna dimenticare che la scienza moderna è riuscita a diventare pubblica e comprovabile prima che la revisione paritaria anonima diventasse una pratica canonica della pubblicazione scientifica – ancorché fin dall’inizio controversa.↩
  3. Paul A. David, The historical origins of ‘open science‘, 2007.↩
  4. Paolo Rossi, La nascita della scienza moderna in Europa, II.5.↩
  5. Mark A. Edwards, Siddhartha Roy, “Science is broken. Perverse incentives and the misuse of quantitative metrics have undermined the integrity of scientific research“, Aeon, 2016:, corsivo mio la versione integrale dell’articolo “Academic Research in the 21st Century: Maintaining Scientific Integrity in a Climate of Perverse Incentives and Hypercompetition” si trova in Environ Eng Sci. 2017 Jan 1; 34(1): 51–61; doi: 10.1089/ees.2016.0223.↩
  6. Ivan Oransky, Adam Marcus, “Two Cheers for the Retraction Boom,” The New Atlantis, 49, Spring/Summer 2016, pp. 41–45, trad. mia.↩
  7. Robert K. Merton, The Normative Structure of Science, 1942, I, trad.it. qui.
  8. V. per esempio Mario Biagioli, “Watch Out for Cheats in Citation Game”, Nature, 2016; Alberto Baccini, Collaborazionisti o resistenti. L’accademia al tempo della valutazione della ricerca, “Roars”, 2016, V.↩
  9. Kathy O’Neil, Weapons of math destruction: how big data increases inequality and threatens democracy, Crown Publishers, New York, I. Per esempio, quando U.S. News & World Report cominciò a classificare le università americane, costruì un modello che, per essere vendibile, doveva confermare il primato di celebrità come Harvard, Stanford, Princeton e Yale: e ciò si poteva fare solo escludendo dalle variabili da considerare il costo delle tasse e delle rette degli studenti. Il risultato fu che le università furono indotte a aumentare gli investimenti – e dunque le tasse studentesche – per adeguarsi ai criteri selezionati dai classificatori, a danno della maggioranza dei cittadini americani. Includere i costi – come mostra l’esperimento di Roars con il Politecnico di Bari – avrebbe prodotto classifiche diverse e orientate a diversi utenti.↩
  10. Come scrive Kathy O’Neil, “when you create a model from proxies, it is far simpler for people to game it. This is because proxies are easier to manipulate than the complicated reality they represent.”↩
  11. A meno di non voler ammettere che i sistemi di valutazione della ricerca di tipo amministrativo non mirano al progresso del sapere, ma alla sua stasi.↩
  12. La casualità della carriera accademica espone qualsiasi ricercatore a giudizi che possono apparirgli – e anche essere – insensati, inaccurati e idiosincratici.↩
  13. Platone, infatti, critica l’ontologia numerica pitagorica in Fedone 96c-97d, indicando le difficoltà che seguirebbero al trattare i numeri come essenze degli oggetti dell’esperienza, invece che come forme che si applicano ad essi. Non è infatti sufficiente credere che il “mondo vero” sia quello delle idee per concludere che l’esperienza si esaurisca nei modelli in cui la formalizziamo: non a caso Socrate, nel Fedone, dopo l’ultima formale dimostrazione dell’immortalità dell’anima, avverte la necessità di sostenerla con un mito. ↩
  14. A. Bonaccorsi, “La valutazione della ricerca produce effetti indesiderati?” in Angelo Turco (a cura di), Culture della valutazione, Roma, Carocci, 2016, p. 39.↩
  15. Come scrive J.C. Guèdon in Open access – toward the internet of the mind, 2015 (trad. mia): “Internet, nei suoi primi anni, esaltava le interazioni fra gli utenti e cercava di ridurre al minimo la relazioni di potere. Le discussioni contemporanee sulla neutralità della rete riecheggiano quelle scelte iniziali. Era anche la bella età della netiquette spontaneamente seguita da netizen scrupolosi. Il sistema di comunicazione della scienza, come lnternet, mette spontaneamente la sua intelligenza al margine, nelle menti degli scienziati, e ne lascia poca nel sistema stesso. Purtroppo il tipo di accesso aperto proposto da Elsevier e dai suoi simili, pur declamando in apparenza il vocabolario dell’apertura e della condivisione, si fonda su una visione delle reti nella quale il controllo si trova nella rete di comunicazione e comincia a interferire con l’attività stessa della scienza. Per esempio, se l’obiettivo autentico è il perfezionamento della comunicazione fra ricercatori è impossibile giustificare la presenza di embarghi.”↩
  16. Per un approfondimento sul rischio che un accesso aperto imposto amministrativamente, con l’accordo degli editori commerciali, finisca per essere una forma di socialismo dei ricchi al servizio di oligopoli e oligarchie si veda per esempio Michael Hagner, “Open access, data capitalism and academic publishing, Swiss Medical Weekly, 2018, DOI: https://doi.org/10.4414/smw.2018.14600 ↩
Tags:

Accessi: 900

Anonimo scientifico

Date:       1 Comment  

Un numero recente di “Current science”  (111/2, 25 luglio 2016) ospita un testo di un ignoto, presumibilmente indiano, con una proposta apparentemente ingenua: rendere anonimi gli articoli scientifici e valutare i ricercatori non più per le loro pubblicazioni, ma per i loro discorsi e le loro azioni.

Non è però ingenua l’analisi che le sta alle spalle. Secondo Richard Horton, editor di “The Lancet”, una buona metà della letteratura scientifica potrebbe essere falsa.

Afflitta da studi con campioni piccoli, effetti minuscoli, analisi esplorative dei dati invalide e flagranti conflitti d’interesse, combinati con l’ossessione di inseguire tendenze alla moda di dubbia importanza, la scienza si è avviata su una cattiva strada.

Questi vizi nel metodo e nella selezione dell’oggetto sono esaltati da una valutazione della ricerca che spinge a un’“insana competizione” a pubblicare in alcune riviste selezionate sulla base del fattore d’impatto e a una produttività pletorica, che ha ormai ben poco a che vedere con lo scopo di offrire scoperte e teorie rigorose all’uso pubblico della ragione. Lo spirito competitivo preso nella sua purezza – non da ora, non da oggi – è nemico della ricerca della verità.  Chi fa ricerca deve riconoscere che saper accettare la confutazione e il superamento è una parte importante del gioco della scienza. Così, per esempio, scriveva Max Weber all’inizio del secolo scorso:

Ogni lavoro scientifico ‘compiuto’ comporta nuovi ‘problemi’ e vuol invecchiare ed esser ‘superato’. A ciò deve rassegnarsi chiunque voglia servire la scienza [corsivo mio].

Contro la crisi sono stati suggeriti rimedi amministrativi, deontologici e comunicativi, quali l’auto-pubblicazione e qualche forma di revisione paritaria aperta, allo scopo di riavvicinare la pubblicazione al fine implicito nel suo nome. Nel 2006, tuttavia, “Nature” provò a sperimentare la revisione paritaria aperta – ora oggetto anche di qualche progetto finanziato dell’Unione Europea – ottenendo una partecipazione poco numerosa e poco significativa.

Perché meravigliarsene? In un sistema competitivo di “pubblicazione” proprietaria partecipare a una discussione genuinamente pubblica – perfino sul sito di “Nature” – è ozioso.  In un mondo in cui la “competitività” – o vogliamo chiamarla pleonexia? – è favorita e spesso imposta in quanto incentivo unico alla “produttività” scientifica,  il proprio tempo va investito nella confezione di articoli da regalare a editori bibliometricamente significativi.  Finché le pubblicazioni non recupereranno il loro scopo originario – condividere e registrare teorie e scoperte, non prevalere in una gara eterodiretta fondata sul feticismo bibliometrico – iniettare regolamenti, protocolli e codici etici rischia di avere solo un effetto palliativo.

Le teorie e le scoperte diventano scientifiche se e quando si emancipano dall’inintelligibile genio individuale e si fanno patrimonio comune. Perché una teoria o una scoperta venga riconosciuta come scientificamente solida non occorre – dal punto di vista oggettivo – che sia firmata con un nome e un cognome. Dal punto di vista soggettivo, però, almeno per chi è influenzato da Thomas Hobbes o dall’astrazione dell’homo oeconomicus, le cose sembrano stare differentemente: se non fossimo posti in una competizione che ha variamente a oggetto gli onori accademici, o la misura degli indici H, o, più semplicemente, la sopravvivenza, non avremmo – così si crede – nessuna motivazione per dedicarci alla ricerca.

Eppure, di molti patrimoni artistici e culturali dell’umanità – dalle piramidi egiziane, al tempio di Thanjavur, alle caverne di Ajanta ed Ellora, all’epopea di Gilgamesh, a buona parte delle Sacre Scritture – non conosciamo gli autori, che si sono interamente risolti nelle opere. A maggior ragione, dall’altro lato, sono condannati all’impermanenza i nomi degli autori dell’inflazione di pubblicazioni in riviste proprietarie al servizio della causa della bibliometria più che di quella della scienza.

Anche in occidente la scienza è nata ed è fiorita indipendentemente dell’invenzione delle carriere accademiche e dell’enfasi sulla misura della loro “produttività”, per esempio – individualmente – nella vocazione di chi pensava che una vita senza indagine non fosse degna di essere vissuta, o – socialmente – nella ricerca pura sostenuta dal mecenatismo fiorita nell’Europa protomoderna.

Il concetto di nishkam karma – o azione disinteressata – appartiene alla cultura indiana. Così lo esprime, per esempio, la Bhagavad Gita:

È tuo dovere e competenza solo l’agire, ma che questo non sia motivato dal desiderio dei frutti dell’azione. E non sorga neanche in te l’adesione al non agire. (Bhagavad Gita, 2.47)

Ma qualcosa di simile si ritrova anche in luoghi per noi meno esotici – per esempio nella teoria morale di Kant  – ed è originariamente intrinseco allo stesso ethos scientifico, come può mostrare una lettura mirata della confutazione di Trasimaco nel I libro della Repubblica di Platone. Se ci si facesse beffe del poco realistico ideale della ricerca disinteressata e si misurasse la qualità dei medici sulla loro capacità di farsi pagare, otterremmo esattamente quello i nostri pregiudizi hanno predeterminato: non più medici valenti, ma esperti nell’arte mercenaria.

Si può obiettare che l’anonimato delle pubblicazioni deresponsabilizza gli autori. Il sistema attuale, però, accetta l’anonimato in una funzione più delicata: quella della revisione paritaria, per la quale una critica simile potrebbe avere una forza ancora maggiore. Così, per esempio, scriveva il matematico Giorgio Israel:

L’anonimità dell’esaminatore è invece un’idea sciocca e scandalosa. Chi deve firmare un giudizio e quindi mettere in gioco la propria rispettabilità sta bene attento a quel che scrive, mentre – e si potrebbe produrre un gran numero di esempi al riguardo – un recensore anonimo può permettersi il lusso di emettere giudizi affrettati, superficiali o anche di fare affermazioni palesemente sbagliate, con gli intenti più disparati, senza dover pagare alcun prezzo per questo. Il diffondersi delle procedure di selezione mediante il ricorso a valutatori anonimi, lungi dal garantire la serietà e l’obbiettività del giudizio – si sostiene che il valutatore anonimo sarebbe libero di esprimersi senza le reticenze dettate dai suoi eventuali rapporti di conoscenza o amicizia con il valutato o dal timore di rappresaglie – induce comportamenti poco etici se non addirittura scorretti. Che bisogno c’è dell’anonimato? Una persona che appartiene al mondo della ricerca e dell’università dovrebbe essere capace di conformarsi a criteri di “scienza e coscienza” e non avere il timore di difendere le scelte compiute su tali basi. L’anonimato rischia invece di offrire coperture a comportamenti intellettualmente superficiali o eticamente scorretti (Chi sono i nemici della scienza?, 2013, grassetti miei).

Il sistema di valutazione basato sulle pubblicazioni è un modo per sottrarsi alla responsabilità di giudicare la ricerca spostandola su revisori paritari a loro volta protetti dall’anonimato. Si costruisce così una gabbia d’acciaio apparentemente impersonale in cui nessuno fra coloro che determinano le vite degli altri è davvero disposto a rendere conto delle decisioni – pur molto personali – che si trova a prendere.

Eclissi di soleL’anonimo indiano propone di sovvertire il sistema attuale, oscurando quanto oggi illuminiamo e illuminando quanto oggi oscuriamo. Non è neppure necessario che il nome dell’autore sia un segreto custodito meglio di quello che protegge la revisione paritaria: gli autori potrebbero anche essere contrassegnati da una sorta di ORCID anonimo, e potrebbe esser reso possibile corrispondere con loro tramite le piattaforme di pubblicazione, come si fa attualmente, per interposta persona, con i referee anonimi. Sarebbe sufficiente che l’anonimato fosse un accessorio in un combinato disposto che eliminasse dai criteri per valutare la ricerca e determinare le carriere il numero delle pubblicazioni e il loro peso bibliometrico.  Nelle varie fasi della carriera accademica si dovrebbero invece considerare le persone in luogo dei prodotti, tramite relazioni scritte e colloqui che abbiano a oggetto la tesi di dottorato, la capacità di insegnare e di guidare altri nella ricerca, le attività passate e gli interessi presenti e futuri.

I ricercatori non smetterebbero di pubblicare:  scriverebbero meno e meglio, perché sarebbero motivati solo dallo scopo di condividere la memoria di teorie e scoperte a loro giudizio meritevoli di attenzione. Allo stesso tempo, questa valutazione della ricerca alternativa, fondata sulla cultura delle persone e sulla loro capacità di selezionarla, trasmetterla e discuterla, farebbe emergere, fra i testi anonimi, quelli meritevoli di essere esaminati e studiati. Il denaro sottratto alle multinazionali editoriali e bibliometriche potrebbe essere meglio speso in un’infrastruttura di ricerca pubblica e accessibile a tutti che aiuti gli studiosi nella loro conversazione.

Utopia? Per niente: questa è semplicemente la soluzione antica di un problema altrettanto antico, che si ritrova nel Fedro di Platone. L’invenzione della scrittura – così racconta il mito di Theuth – è alla radice del feticismo della pubblicazione, perché rende possibile separare il prodotto dal processo, il risultato messo per iscritto dalla sperimentazione, dalla dimostrazione e dalla discussione. Si è così esposti alla tentazione di confondere il medium col messaggio: sono un valente scienziato non perché sono in grado di dimostrare le mie ipotesi e scoperte in una discussione pubblica, bensì perché le mie ipotesi e scoperte sono pubblicate in testi a cui si attribuisce variamente autorità scientifica.

Se questa confusione è socialmente e amministrativamente rinforzata, il ricercatore sarà a suo volta esposto alla tentazione di abbandonare la via della sophia per imboccare quella della doxosophia o apparenza di sapienza la quale, nel sistema attuale, equivale a perseguire non l’approssimazione alla verità, bensì la pubblicazione e il successo nella competizione bibliometrica.

Platone, per sottrarsi a questa tentazione, escogitò un rimedio molto simile a quella immaginata dall’anonimo del XXI secolo: non prendere i testi – i nostri figli illegittimi – troppo sul serio, se non come ausilio per la memoria, e dedicarsi invece alla costruzione di comunità di conoscenza che li facciano vivere scientificamente, selezionandoli, curandoli, discutendoli e confutandoli – in una parola, prendendosi la responsabilità di valutarli. Coerentemente, non si presentò mai come autore, ma, similmente al suo Socrate,  come un curatore al servizio di una verità che trascende le persone e le loro gare.

La scienza oggettivamente intesa può permettersi di essere anonima. Che la teoria eliocentrica sia di Copernico o di Aristarco da Samo ne influenza, forse, la plausibilità? Che importa chi parla? Però, soprattutto in un mondo di informazione sovrabbondante, la cura e la selezione dei testi – se vale la pena leggere, discutere e linkare articoli eliocentrici o geocentrici – è frutto di scelte personali. Proprio per la sua soggettività, essa richiede una assunzione di responsabilità con nome e cognome: in una valutazione scientifica della ricerca, chi sceglie deve render pubblicamente conto delle sue decisioni. Il suo stesso logon didonai è parte di quella discussione scientifica che ritrasforma la lettera morta in un vivo processo d’indagine.

Questo prassi desueta può sembrare aleatoria e bizzarra. Ma non è altrettanto bizzarro considerare normale – e non semplicemente normalizzante – un sistema in cui le scelte sociali sulla ricerca sono compiute irresponsabilmente da giudici che non osano mostrare la faccia e da algoritmi proprietari rappresentati come impersonali? Prima di concludere che non ci sono alternative forse vale la pena chiedersi se non siamo talmente abituati alla gabbia che nessuno vuol assumersi la responsabilità di cominciare a crearle.

Il testo mi è stato segnalato da Paola Galimberti.

DOI

Tags:

Accessi: 1551

L’onore degli ambasciatori: citazioni ad accesso aperto

Date:       8 Comments  

Chi pubblica i propri lavori ad accesso aperto fa un uso pubblico della ragione. Chi preferisce l’accesso chiuso ne fa un uso privato: anziché rivolgersi ai cittadini del mondo valendosi della miglior tecnologia di comunicazione disponibile al momento, parla a un gruppo ristretto, selezionato con criteri economici. La scelta dell’accesso chiuso è di solito dovuta o a un’adesione d’abitudine alla prassi della comunità accademica di riferimento, o alla cura per la propria carriera e al timore che una pubblicazione ancora percepita come poco tradizionale possa condurre a valutazioni negative. Qui il teatro dell’azione non è una sfera pubblica virtualmente universale, bensì istituzioni particolari.

La citazione è “la moneta corrente nel commercio della comunicazione scientifica ufficiale“. Serve, quando costruisco tesi su idee altrui, sia a pagare dei debiti, sia a esibire la solidità del mio credito: la mia voce suona più forte, sostenuta dal patrimonio di letteratura che ho prelevato dalla banca del sapere.

La citazione è anche la materia prima degli indici bibliometrici, che possono essere decisivi per la valutazione della ricerca, gli avanzamenti nella carriera e le politiche d’acquisto delle riviste nelle biblioteche. In questa seconda funzione, le citazioni non sono moneta soltanto metaforicamente, ma anche in un senso assai letterale.

In un’opera pubblicata in rete le citazioni, in forma di link, sono moneta anche nel senso dell’economia dell’attenzione: tutte le volte che faccio un collegamento a una risorsa, migliorando il suo ranking nei motori di ricerca e rendendola più visibile, aumento il suo valore. E dato che i testi ad accesso aperto sono citati di più, ottenervi citazioni significa ricevere un bellissimo regalo.

Se le risorse citate sono a loro volta ad accesso aperto, la citazione è un segno di gratitudine per il dono della loro presenza. Ma se sono ad accesso chiuso si può dire lo stesso?

George Monbiot, in un recente articolo sul Guardian, ha chiamato gli oligopolisti dell’editoria scientifica “i capitalisti più spietati del mondo occidentale”, perché sfruttano il lavoro, per loro gratuito, di ricercatori e revisori finanziati con fondi pubblici, privatizzandone il prodotto e imponendogli un prezzo esorbitante. Che senso ha, per chi sceglie l’accesso aperto, far loro pubblicità gratis e senza reciprocità, per il loro profitto?

Potremmo raccomandare a chi pubblica ad accesso aperto la soluzione radicale, ma ingiusta, di citare esclusivamente risorse ad accesso aperto. Il marketing dell’attuale oligopolio della comunicazione scientifica tende a farci credere che la validità di un contenuto dipenda dal luogo in cui viene pubblicato (Björn Brembs, What’s wrong with scholarly publishing today? slide 87): se escludessimo la possibilità che un’idea veramente buona appaia in una rivista ad accesso chiuso commetteremmo lo stesso errore. Si può allora pensare a una politica di riduzione del danno, con alcune innovazioni rispetto alla consuetudine.

1. Preferire sistematicamente la letteratura ad accesso aperto;

2. citare i documenti ad accesso aperto depositati negli archivi istituzionali e disciplinari anche quando ne è stata pubblicata una versione ad accesso chiuso;

3, quando il testo da citare è rilevante per le idee che contiene e non per l’autore, cercare un documento ad accesso aperto che riporti tesi analoghe, anche quando questo significhi menzionare il lavoro di un dottorando in luogo di quello di un’academic star;

4. se il testo ad accesso chiuso è insostituibile, non citarlo direttamente, ma citare le risorse ad accesso aperto che lo segnalano e lo schedano; se mancano, produrre una sua breve presentazione ad accesso aperto per l’uso della citazione, avendo cura di sottolineare, quando è il caso, che la risorsa è ad accesso chiuso e a pagamento, mentre avrebbe potuto non esserlo.

La citazione di seconda mano non solo lascia quasi invariato l’impatto citazionale del testo ma ha un altro, importante, pregio.

In un ambiente in cui l’informazione è fin troppo abbondante il curatore – o il battitore di piste alla Vannevar Bush – ha un ruolo creativo; indica da che parte voltarsi, riduce la complessità con criteri più raffinati e umani degli algoritmi basati sulla popolarità, produce idee nuove da nuove combinazioni di concetti già noti. Già soltanto per questo merita di essere riconosciuto.

Ma il curatore che segnala in accesso aperto una risorsa ad accesso chiuso, esponendone il contenuto, fa qualcosa di ancora più significativo: libera per l’uso pubblico della ragione una risorsa che era a uso privato, dice nella luce quanto è stato detto nelle tenebre, grida sui tetti quanto gli è stato sussurrato all’orecchio. In questo senso il vero studioso è lui: perché è lui che racconta ai cittadini del mondo quanto l’autore aveva riservato agli eletti selezionati da un carisma economico.

A tutti noi, quando abbiamo scritto la nostra tesi di laurea, è stato detto non era bello fare citazioni di seconda mano, perché ci si esponeva al sospetto di non aver letto i testi citati e al rischio di recepire le eventuali inesattezze della citazione copiata. La politica di citazione qui proposta innova questa regola, indicando una situazione in cui la citazione di seconda mano è doverosa, perché non è un segno della pigrizia del citante, ma di una scelta – spesso non del tutto consapevole – del citato, che parla a pochi e per interessi particolari quando potrebbe parlare a tutti e per interessi universali. La citazione di seconda mano renderebbe evidente che chi rinuncia a entrare in prima persona nella sfera pubblica deve rassegnarsi alla mediazione – non necessariamente benevola e accurata – di qualcun altro che si prende il suo merito. E che oggi l’uso pubblico della ragione, superati i limiti tecnologici ed economici dell’età della stampa, si fa nell’accesso aperto.

Questa proposta nasce dall’esperienza della comunicazione ancora prevalente nell’ambito umanistico e tenta di affrontare il problema della mancanza di reciprocità nel rapporto fra accesso aperto e accesso chiuso, in un mondo in cui buona parte della ricerca mainstream continua ad adottare la seconda opzione, spesso soltanto per mancanza di consapevolezza. Ci possono essere soluzioni migliori? La discussione è aperta.

–dnt

Tags:

Accessi: 800

Antoine Blanchard, Il buon ricercatore

Date:        Leave a comment on Antoine Blanchard, Il buon ricercatore  

Il ricercatore buono pubblica; il ricercatore cattivo pure.

Sorbonne

La bibliometria è l’insieme dei metodi e delle tecniche quantitative – di natura matematico-statistica – ausiliarie alla gestione delle biblioteche e di tutte le organizzazioni che trattano grandi quantità d’informazione.  Può essere usata per razionalizzare gli acquisti librari – con risorse limitate il bibliotecario deve selezionare quanto è più probabile gli venga chiesto dagli utenti – o, meno umilmente, per valutare la ricerca. Ben si capisce che i bibliotecari debbano considerare grandi quantità di testi senza poterli leggere tutti; meno chiaro, però, è perché la nostra ricerca andrebbe valutata senza leggere quello che scriviamo.

La Francia, che ha già affrontato l’esperienza della valutazione della ricerca, è un termine di confronto utile. In particolare, l’articolo Qu’est-ce qu’un bon chercheur?, pubblicato nel blog di Antoine Blanchard La science, la cité, è un buon punto di partenza, con la sua questione solo apparentemente semplice: che s’intende per “buon ricercatore”?

0. Prima della bibliometria il buon ricercatore era uno riconosciuto come tale dai suoi pari. Perché questa definizione rimanesse credibile, però, occorrerebbero pari perfettamente informati sulla ricerca di tutti gli altri, il cui giudizio non fosse influenzabile da altre considerazioni – dall’antipatia personale alle questioni concorsuali. Quanto era forse vagamente praticabile entro piccole comunità di conoscenza non lo può più essere in un mondo in cui la ricerca è iperspecializzata e l’informazione sovrabbondante. La rete – è vero – può costruire reputazioni e offrire strumenti efficienti per il fact-checking. Però, specialmente se la ricerca è innovativa, questa specie di chiara fama arriva, come la nottola di Minerva, soltanto sul far del crepuscolo, dunque troppo tardi per chi desidera valutarci di buon’ora, quando le carriere accademiche muovono i primi passi.

1. Il buon ricercatore è uno che pubblica molto. Il criterio, discriminante nel mondo della stampa, non lo più oggi. Inoltre, nei settori disciplinari in cui si usano articoli a firma collettiva, per chi è in alto nella gerarchia accademica è talvolta molto facile “pubblicare” lavori fatti e scritti interamente da altri.

2. La bibliometria nel suo uso scientometrico suggerisce che il buon ricercatore sia uno che è molto citato: la moneta della scienza, però, può rimanere libera da pratiche speculative solo se il suo conteggio non viene usato a scopi valutativi. E, in ogni caso, sono molto citate sia le grandi scoperte sia i celebri errori.  Né è decisivo selezionare un database composto da citanti eletti e presunti competenti senza ereditare i pregiudizi con cui è stato formato e – spesso inconsapevolmente – anche gli interessi commerciali  che l’ispirano.

3. Con più sofisticatezza, tramite l’indice h, possiamo combinare le due definizioni precedenti: il buon ricercatore è uno che pubblica molto ed è molto citato. Questo criterio fa ingiustizia ad autori di genio, come Wittgenstein, che, pur avendo pubblicato pochissimo, sono molto citati. Però. per un fenomeno noto ai sociologi come effetto San Matteo, è più facile ricevere la sessantesima citazione se si è citati 59 volte, che ottenere l’undicesima se si è citati 10. Se pesiamo ciascuna citazione di un testo con una frazione 1/n, ove n è il numero d’ordine della citazione, otterremo che la prima citazione vale 1 e le altre via via decrescendo con l’aumentare del denominatore. Se calcoliamo il valore di un articolo sommando gli 1/n delle sue citazioni otterremo una serie armonica divergente: il valore delle citazioni cresce sempre più lentamente, ma la loro somma aumenta con continuità, rendendo le cifre ottenute per i vari ricercatori comunque comparabili. Un simile calcolo, che tiene conto dell’effetto San Matteo,  mostra – controintuitivamente – che il ricercatore con 10 lavori citati 10 volte “vale” di più di quello con tre opere citate 60 volte. Se i due ipotetici ricercatori fossero scienziati umani e sociali, il primo profilo corrisponderebbe a quello di un fondista della ricerca, il secondo a quello di un velocista o di una academic star. Nelle gare di atletica, i velocisti sono più popolari dei fondisti: ma questo è un motivo sufficiente a farci credere che siano anche migliori e indurci a finanziare gli uni ma non gli altri?

4. L’ultima ipotesi, post-bibliometrica, è la più elusiva: il buon ricercatore è uno che non fa come gli altri. Quando guardiamo alla storia della scienza questa definizione si applica ottimamente ai grandi innovatori. Senza il senno del poi, però, ci lascia in imbarazzo, perché non si può ridurre a una formula scientometrica: anche il tentativo di misurare lo spirito innovativo contando i premi Nobel si compie pur sempre ex post.

Platone, nel Politico, scriveva che, in una situazione ideale, quando ci siano politici dotati di scienza, è preferibile un governo senza leggi. La legge è come un essere umano ignorante e ostinato il quale non permette che si trasgrediscano i suoi ordini e non accetta che gli si facciano domande, neppure se a qualcuno è venuta in mente una cosa nuova e migliore rispetto al suo logos (294c). La legge è un prodotto del sapere umano, che però sembra pretendere di valere per sempre, anche se il nostro sapere, in quanto storico e finito, non può mai intendere se stesso come definitivo. Nel mondo politico, dove la scienza è quasi sempre assente, le leggi sono invece indispensabili, pur nella loro grossolanità. La critica di Platone alle regole, applicata alla politica, sembra filotirannica ed elusiva; ma, applicata alla scienza, s’adatta perfettamente alla definizione post-bibliometrica di Blanchard e al suo esito: un appello per il pluralismo e la diversità della ricerca.

Sgradevolmente, però, se non c’è un algoritmo per distinguere l’innovatore dal pazzo, una società che desideri davvero finanziare la ricerca deve rassegnarsi al rischio di buttare via i soldi o, più elegantemente, di fare scommesse che possono risultare vincenti o perdenti. Una ricerca senza libertà, soggetta a una norma preconfezionata – sia essa il razzismo dei totalitarismi del Novecento o l’estensione pedissequa del modello aziendale alle università – è destinata a perdere se stessa nella sua capacità d’innovazione e di critica. Nell’ordine degli uomini, ottimi argomenti militano a favore del governo delle leggi; nell’ordine delle idee imporre regole di valutazione rigide è semplicemente fascismo.

Tags:

Accessi: 604

image_print