A volte ritornano: la bibliometria nel bando PRIN PNRR 2022

DOI

Poster of the movie Sometimes They Come Back All’inizio di ottobre si è diffusa la notizia che l’ANVUR, l’agenzia governativa nella quale si accentra la valutazione amministrativa della ricerca italiana, aveva formalmente sottoscritto l’Agreement on Reforming Research Assessment. Come la dichiarazione DORA e il Leiden Manifesto for Research Metrics, questo accordo include fra i suoi punti principali l’emancipazione della valutazione da analitiche commerciali quantitative quali il fattore d’impatto, l’indice H e le classifiche di università ed enti di ricerca, così da concentrare l’attenzione sulla qualità e sulla diversità della ricerca. L’Annex 1 del suo testo, ricapitolando convinzioni ormai diffuse,1 spiega perché:

I processi di valutazione che si affidano prevalentemente a sistemi di misurazione basati su riviste e pubblicazioni producono notoriamente, a danno della qualità, una cultura del ‘publish or perish’ incapace di riconoscere impostazioni differenti. Il predominio di sistemi di misura angusti fondati su riviste e pubblicazioni, spesso usati impropriamente nella valutazione della ricerca, può disconoscere contributi diversi e può influenzare negativamente la qualità e l’impatto della ricerca stessa. Può, per esempio, esaltare quantità e velocità a scapito di qualità e rigore, far emergere riviste e conferenze predatorie, incoraggiare a pubblicare in riviste ad accesso chiuso e a pagamento per il loro fattore d’impatto elevato anche se sono disponibili alternative ad accesso aperto, indurre a evitare il rischio per non ridurre la possibilità di venir pubblicati, produrre un’eccessiva attenzione alle classifiche a detrimento della collaborazione e far sprecare energie, tempo e denaro a ripetere il già fatto perché gli articoli sui risultati “negativi” rimangono largamente inediti. La valutazione della ricerca dovrebbe promuovere una cultura che riconosca la collaborazione, l’apertura e l’impegno sociale e offra opportunità a una pluralità di talenti.

L’ANVUR ha finora imposto la bibliometria in tutta la sua valutazione: anche per i settori detti “non bibliometrici” chi desidera diventare professore o commissario di concorso deve adeguarsi a valori-soglia quantitativi, basati sul numero di libri, nonché di articoli in riviste genericamente scientifiche e in “di classe A”, determinate tramite liste stilate dall’ANVUR medesima. La sua adesione formale all’accordo sarebbe dunque una notizia non irrilevante, sebbene non comporti la deposizione della spada, per così dire, ma solo l’annuncio della sostituzione della bilancia. Fuor di metafora, la firma promette di cambiare come si valuta ma non chi valuta: l’Anvur, da parte sua, rimane un’agenzia nominata dal governo che sottomette la ricerca italiana a una valutazione amministrativa e centralizzata anziché scientifica e distribuita.

Dovrebbe tuttavia destare stupore che il bando PRIN PNRR 2022 del 14 settembre 2022 richieda dati bibliometrici – obbligatori per fisica, ingegneria e scienze biologiche, e solo se disponibili per scienze umane e sociali – a chi presenta un progetto di ricerca candidandosi come principal investigator.

Si dirà: l’accordo europeo (p. 5) non mette interamente al bando la bibliometria, ma chiede solo di “fondare la valutazione della ricerca principalmente su una valutazione qualitativa in cui è centrale la revisione paritaria, sostenuta da un uso responsabile di indicatori quantitativi”. Però, come si evince dal fac-simile della domanda, aggiornato al 17 ottobre 2022, che gli aspiranti devono compilare, gli indicatori quantitativi richiesti sono tali che difficilmente se ne può immaginare un uso responsabile. Bando e modulistica sono disponibili qui; https://prin.mur.gov.it/Attachments/getAttachment?key=HopXv8NjF1Vb4NvuuAMfmQ== l’illustrazione a fianco riproduce quanto si trova alla pagina 5 del fac-simile, nel punto B2.

Salta subito agli occhi che al candidato viene richiesto l’Impact Factor dei suoi articoli, presumibilmente perché si ritiene che questo dato sia utile per valutarlo. Lo stesso inventore dell’IF, Eugene Garfield, raccomandava di non impiegarlo per valutare i ricercatori: com’è ampiamente noto, facilmente intuibile, e riconosciuto perfino da una sentenza del TAR del Lazio, un rapporto che pesa le citazioni complessive annuali degli articoli usciti su una rivista il biennio precedente è una misura che riguarda la rivista stessa e non i suoi singoli testi, alcuni dei quali possono essere citati poco o per nulla.

https://prin.mur.gov.it/Attachments/getAttachment?key=9L3fqE6vl9+EucB3/ELXtg==Il ministero ha pubblicato anche delle FAQ. L’illustrazione qui a fianco ne riproduce la parte sulla bibliometria.
A chiarimento di quanto implicito nel fac-simile, il MUR spiega che i fattori d’impatto delle riviste su cui sono usciti gli articoli dei candidati vanno sommati, senza compiere la normalizzazione raccomandata dal sesto punto del Leiden Manifesto for Research Metrics. Il numero di citazioni, tuttavia, varia fra disciplina e disciplina, e con esso il fattore d’impatto delle riviste: se gli IF delle riviste che hanno pubblicato gli articoli vengono semplicemente addizionati, i ricercatori che operano in campi a bassa intensità di citazioni verranno penalizzati a vantaggio di quanti lavorano in ambiti di intensità maggiore. E per mantenere quel pizzico di accidentalità tipico della carriera accademica, il MUR non prescrive di indicare l’IF che la rivista aveva quando l’articolo è stato pubblicato, ma quello attuale o l’ultimo disponibile: così – a proposito di scale oggettive – il valore di un articolo, oltre a dipendere dal suo contenitore e non dal suo contenuto, crescerà e decrescerà nel tempo avvenire con le fluttuazioni del fattore d’impatto della rivista che lo ha pubblicato. Si sta come d’autunno sugli alberi le foglie.

Anche i limiti dell’indice H, qui calcolato sul database proprietario Scopus, che è, in conflitto di interessi, sotto il controllo del più grande oligopolista dell’editoria scientifica commerciale, Elsevier, sono ben noti, tanto che è stato ripudiato dal suo stesso inventore in quanto generatore di conformismo.

La responsabilità del bando, che è uscito prima del suo insediamento, non ricade sul governo attualmente in carica, bensì su quello precedente, detto “dei migliori“. C’è anche una responsabilità dell’ANVUR? La risposta, questa volta, è no.

Sebbene tempestivamente denunciato da “Roars”, pochi si sono accorti che l’articolo 64 comma 3 del decreto-legge 31 maggio 2021 n. 77 ha cambiato, per il periodo della prima applicazione coincidente con la distribuzione dei fondi del PNRR, il nome e le modalità di composizione del Comitato Nazionale dei Garanti della Ricerca (CNGR), ora ribattezzato Comitato Nazionale per la Valutazione della Ricerca (CNVR). Il CNVR ha, fra l’altro, il compito di “indicare i criteri generali per le attività di selezione e valutazione dei progetti di ricerca” finanziati dal MUR. Nella prima applicazione del decreto, dunque, i sette membri del vecchio Comitato Nazionale dei Garanti della Ricerca rimangono in carica, ma vengono affiancati da otto membri nominati direttamente dal ministro dell’università e della ricerca, senza nessun vincolo oltre il rispetto della parità di genere.2 In altre parole, per decidere come e con quali criteri distribuire i fondi PRIN PNRR non solo il ministro può nominare chi vuole, ma i nominati, essendo otto, sono sufficienti per ottenere la maggioranza nelle deliberazioni del comitato – le quali dunque possono venir decise da valutatori di designazione interamente politica.

Con il Decreto 30 luglio 2021, n. 1004 del Ministro dell’Università e Ricerca, la ministra Messa ha provveduto a scegliere gli 8 nuovi componenti del CNVR: si possono leggere in questo articolo di “Roars”. È dunque un comitato con una maggioranza di diretta ed esclusiva emanazione politica che ha consentito questo uso della bibliometria inappropriato, irresponsabile, e perfino impugnabile davanti alla giustizia amministrativa. Per il TAR del Lazio era infatti chiaro già nel 2015 che, perfino se lo trattiamo impropriamente come indicatore di qualità e non di popolarità, il fattore d’impatto riguarda “la qualità complessiva delle singole riviste più che la qualità dei singoli articoli in esse contenuti e redatti dall’interessato”.

A un osservatore esterno i decreti e gli acronimi possono apparire vacui e tediosi esoterismi burocratici: ma in questa vacuità si cela una valutazione di stato ancor meno scientifica e ancora più sottomessa alla politica, specialmente entro un’università impoverita di denaro e di spirito che tende ad attribuire potere e prestigio a chi, ad arbitrio del principe, ottiene fondi per i propri progetti di ricerca. Il “governo dei migliori” si è baloccato irresponsabilmente con la bibliometria. Governi peggiori potranno seguire la via regolamentare che ha predisposto e fare di peggio.

Tags:

Accessi: 198

“In difesa dell’autonomia della ricerca e della didattica”

Serment du Jeu de Paume - DavidPiù di 2700 ricercatori francesi stanno presentando una candidatura collettiva alla presidenza della locale autorità di valutazione della ricerca pubblica (HCERES) allo scopo di “riappropriarsi del controllo e del senso del proprio lavoro”, nella convinzione che la valutazione della ricerca non spetti all’uso privato di un’autorità amministrativa particolare, bensì all’uso pubblico della ragione  come si svolge, collettivamente, nella comunità degli studiosi nel suo insieme.
Ecco la traduzione italiana della versione francese del loro manifesto Candidature collective à la présidence du HCERES., ora ripubblicata anche su Roars.

È eufemistico affermare che le riforme del nostro sistema di ricerca compiute, in nome dell’eccellenza, nel corso degli ultimi quindici anni non hanno avuto gli effetti attesi. Pur ambendo a rafforzare la potenza scientifica della Francia, hanno  solo – secondo l’indicatore scelto dai riformatori stessi – fatto calare il numero delle pubblicazioni francesi in rapporto a quelle mondiali. Non c’è da stupirsene: le statistiche che stimano gli effetti degli interventi pubblici mostrano che la quantità delle pubblicazioni scientifiche è proporzionale agli investimenti nella ricerca, ma è praticamente insensibile alle riforme strutturali. Eppure, in questi quindici anni, l’impegno finanziario si è concentrato sull’istituzione di una nicchia fiscale, il Credito d’Imposta per la Ricerca, pensata per aggirare il divieto europeo di aiuti pubblici diretti alle imprese. La stima del suo impatto sulla ricerca da parte di  France Stratégie è senza appello: il suo effetto-leva sugli investimenti privati è… negativo.

Le riorganizzazioni dell’università e della ricerca hanno inoltre effetti sistemici profondi, osservabili però solo se non si considera la computazione bibliometrica, bensì la creazione e la trasmissione di sapere. Le riforme strutturali hanno condotto a un declino della qualità e dei requisiti di qualità della produzione scientifica, di cui i molteplici casi di frode sono solo la parte più visibile. Questa crisi istituzionale del mondo della ricerca è tanto più drammatica in quanto sopraggiunge in una fase di crisi sociale, climatica e democratica risolvibile solo tramite un’opera di produzione, trasmissione,  critica e  conservazione della conoscenza.

Poiché si fonda sull’orizzonte comune della ricerca della verità, la scienza presuppone l’autonomia di studiosi, ricercatori e docenti universitari rispetto ai poteri da cui il suo esercizio dipende, siano essi politici, economici o religiosi. Questa libertà accademica non deve essere pensata come un’assenza d’impedimento, bensì come una libertà positiva, da garantirsi con mezzi efficaci. Il suo risveglio deve cominciare con una riaffermazione delle condizioni pratiche di questa autonomia.

La prima condizione è finanziaria: per incoraggiare inventività e creatività, è indispensabile dotare la ricerca  di finanziamenti ripetuti nel tempo, rompendo perciò con la modellazione burocratica della scienza tramite bandi per progetti di ricerca a breve termine, che favoriscono conformismo  e  ricerche incrementali.

La seconda condizione riguarda un’altra risorsa preliminare alla ricerca: il tempo. Per conservare la biodiversità necessaria a un ecosistema di ricerca fiorente, occorre garantire istituzionalmente la possibilità di fare ricerca in tempi lunghi. Una selezione spenceriana promossa dall’alto, fatta di frammentazione e contrattualizzazione generale delle condizioni di lavoro, uccide questa diversità e fa perdurare la crisi qualitativa. La soluzione consiste in un reclutamento di qualità che offra posizioni permanenti, condizione per attirare ricercatori giovani e personale tecnico, così da arricchire costantemente il sistema di idee e aspirazioni nuove.

La terza condizione è ridurre la divisione del lavoro scientifico, vale a dire rigettare la separazione – che ha costituito una burocrazia rigidamente definita – fra responsabili amministrativi che detengono il potere e ricercatori e docenti universitari espropriati e ridotti a meri esecutori. È essenziale sottoporre a revisione le strutture di valutazione accumulate l’una sull’altra in quindici anni  e quantificare i loro costi operativi per liberare risorse tramite la soppressione di stratificazioni inutili o addirittura dannose.

Nella prassi, da secoli, i requisiti di qualità e originalità delle opere scientifiche sono garantiti dalla norma della controversia collegiale (la disputatio dei classici), vale a dire dalla discussione libera e in contraddittorio entro la comunità dei pari. Questo principio di gratificazione sociale fondato sul riconoscimento del valore intellettuale delle opere è irriducibile ad una “valutazione” amministrativa che riposi su un sistema di regole quantitative esterne, determinate dagli interessi degli investitori: ogni metrica normativa smette rapidamente di essere una mera misura per diventare essa stessa l’obiettivo da raggiungere.  Qualsiasi commissione di supervisione, di reclutamento o di promozione deve quindi essere obbligata a fondare le sue deliberazioni sulla lettura delle opere e non su una valutazione quantitativa. Perché queste deliberazioni siano fattibili e credibili, il numero di opere da sottoporre a esame va drasticamente limitato.

Infine, l’autonomia del mondo della ricerca ha bisogno di ristabilire criteri di valutazione scientifica rigorosi, che tengano conto delle specificità contemporanee. È urgente restituire il controllo delle riviste scientifiche alla comunità dei ricercatori e spodestare l’oligopolio editoriale su cui le attuali discipline di valutazione trovano fondamento tecnico ed economico.

Per metter mano a queste riforme, ci candidiamo alla presidenza dell’istituzione incaricata di definire le norme e le procedure che regolano, organizzano e determinano la produzione scientifica: l’HCERES. La nostra candidatura collettiva mira a far rivivere i principi fondativi di autonomia e responsabilità degli scienziati. Non ci può essere un’amministrazione separata con un “presidente” che sovrintenda a queste procedure: è l’insieme della comunità degli studiosi che deve presiedere alla valutazione qualitativa della sua produzione.

Senza autonomia della ricerca non c’è futuro.

Tags:

Accessi: 341

Una Scala di valori oggettiva

DOI

Le Muse InquietantiCiò che i filosofi le riviste dicono della realtà scienza è deludente quanto un cartello ‘Qui si stira’ appeso all’uscio di un rigattiere. Se porti i tuoi abiti sperando di farteli stirare, ti troverai beffato: è solo un cartello in vendita. (S Kierkegaard, Aut Aut)

A sostenere che occorre “valutare la ricerca per il suoi propri meriti piuttosto che in base alla rivista in cui è pubblicata” non sono ormai solo i firmatari della San Francisco Declaration on Research Assessment.1 Come si può credere che sia il contenitore a determinare la qualità del contenuto? Che basti versare del liquido tinto di rosso scuro in una bottiglia con l’etichetta “Barolo” stampata da una cantina di buona reputazione perché questo diventi, indiscutibilmente, del pregiatissimo Barolo?

Un lavoro scientifico è un contributo generalmente pubblicato all’interno di un “well-respected”/scholarly journal, ossia una rivista scientifica basata sul sistema della valutazione dei pari.

Quando non di vino si tratta, ma di scienza – o meglio, della sua valutazione – l’etichetta pare però fondamentale.2 Quale pianista – recita una ripetuta metafora musicologica – preferirebbe suonare in un cinema-teatro parrocchiale invece che alla Scala? Ogni professione ha la sua Scala di valore: per i pianisti conta il prestigio dei teatri, proprio come per i ricercatori il prestigio delle riviste. E chiaramente un pianista che, essendo finanziato dal pubblico, contesti il prezzo dei biglietti della Scala e preferisca suonare una musica senza barriere è soltanto un perdente invidioso.

La Scala, qui, non è semplicemente un teatro più famoso, meglio frequentato e più remunerativo del cinema parrocchiale, in grado di offrire al pianista un più ampio pubblico attuale e potenziale: è un contenitore che determina il valore di ciò che in esso viene eseguito – per la  comodità dello studioso divenuto funzionario che può permettersi di stilare classifiche anche quando non sa avvertire la differenza fra Maurizio Pollini e Giovanni Allevi.3 L’abito, dunque, e senza ironia romantica, fa il monaco.

Se il contenitore determina la qualità del contenuto, i pianisti che suonano in sale di second’ordine saranno necessariamente pessimi e dovranno essere stigmatizzati come tali. Di conseguenza, sarebbe uno spreco finanziare conservatori i cui diplomati non fanno concerti alla Scala. E sarebbe opportuno bollare come predatorie, tramite apposite liste, le sale  che offrono esibizioni di pianisti pessimi perché esclusi dalla Scala: del resto chi, se non un impostore, accetterebbe di suonare in un teatro che, non essendo la Scala, lo marchierebbe immediatamente come un modesto strimpellatore? Né si dovrebbe negare attenzione al problema della fake music, che è oggi così facile distribuire in rete: per proteggere l’orecchio degli ascoltatori potrebbe essere una buona idea imporre alle piattaforme private dei filtri in caricamento,  come ha saggiamente legiferato l’Unione Europea in materia di copyright.

Certo, questo sistema renderebbe molto difficile insegnare e studiare pianoforte e pericoloso suonarlo fuori dalle mura del teatro milanese. Ma la rarefazione di un’attività che, quando non è eccellente, è ancor più oziosa e improduttiva, dev’essere salutata con soddisfazione. Il numero dei pianisti si ridurrebbe fino ad annullarsi, ma non è forse la rarità un segno d’eccellenza?

La persistenza di persone che continuassero a studiare, insegnare e suonare il pianoforte anche senza la prospettiva di farlo allo Scala, per un’insensata passione per la musica, sarebbe, in verità, un problema difficile da risolvere, a meno di non cambiare la costituzione così da render lecito  proibire direttamente l’esercizio dell’arte, della scienza e del loro insegnamento. Ma la valutazione di stato italiana ha mostrato che quanto non si riesce a vietare si può però rendere proceduralmente odioso fino al punto di distruggere la salute delle persone che lo praticano. La guerra è pace, la libertà è schiavitù, l’ignoranza è forza, la musica è silenzio – soprattutto quando, per riuscire a capire se un pianista è bravo o no, dobbiamo aspettare che sia invitato alla Scala.

Tags:

Accessi: 703

Integrità della ricerca: i numeri, gli uomini e la scienza

DOI

Questo testo rielabora l’introduzione al convegno Scienza aperta e integrità della ricerca (Milano, 9-10 novembre 2017). Fino a che punto possiamo parlare di integrità della ricerca senza interrogarci, pregiudizialmente, sulla sua libertà? Gli interventi del convegno, ora disponibili qui, hanno offerto qualche tentativo di risposta.

1. R.K. Merton: una questione di pubblicità Rembrandt, Lezione di anatomia del dottor Tulp

Poco più di sessant’anni fa Robert K. Merton poteva permettersi di scrivere che le frodi vere e proprie – quali le truffe e le falsificazioni dei dati – erano relativamente rare nel mondo della scienza perché “personal honesty is supported by the public and testable character of science”.1 L’ethos della comunità scientifica dava infatti forma a un sistema di autocontrollo diffuso, basato sull’equilibrio dei due valori divergenti del riconoscimento dell’originalità e del servizio disinteressato alla verità, che consisteva nell’esposizione di tutte le pretese teoriche, sperimentali e no, all’uso pubblico della ragione. Questa garanzia procedurale, in grado di trascendere i singoli e la loro eventuale onestà, è conseguenza di un’innovazione della rivoluzione scientifica moderna: la pubblicità della ricerca,2 sia pure negli ambienti circoscritti delle accademie3 ed entro i limiti economici, giuridici e tecnologici propri della stampa.

Per cogliere la differenza, che è del tutto evidente, tra la magia rinascimentale e la scienza moderna, è necessario riflettere, non solo sui contenuti e sui metodi, ma sulle immagini del sapere e sulle immagini del sapiente. Nel nostro mondo sono certo presenti molti segreti, e in esso vivono molti teorici e pratici degli arcana imperii. Ci sono anche moltissime e spesso non «oneste» dissimulazioni. Anche nella storia della scienza sono stati presenti dei dissimulatori. Va tuttavia sottolineato che, dopo la prima rivoluzione scientifica, nella letteratura scientifica e nella letteratura sulla scienza non esiste né potrà più esistere – a differenza di quanto è largamente accaduto e accade nel mondo della politica – un elogio o una valutazione positiva della dissimulazione. Dissimulare, non rendere pubbliche le proprie opinioni vuol dire solo truffare o tradire. Gli scienziati, in quanto costituiscono una comunità, possono essere costretti alla segretezza, ma devono, appunto, essere costretti. Quando una tale costrizione si verifica, variamente protestano o addirittura, come anche in questo secolo è avvenuto, si ribellano a essa con decisione. La particella di nell’espressione linguistica «leggi di Keplero» non indica affatto una proprietà: serve solo a perpetuare la memoria di un grande personaggio. La segretezza, per la scienza e all’interno della scienza, è diventata un disvalore. 4

2. Dalla sociologia della scienza alla bibliometria

Sessant’anni dopo pare più difficile credere che la scienza sappia auto-correggersi in virtù del suo carattere pubblico e comprovabile.

Today, there are compelling reasons to doubt that science as a whole is self-correcting. We are not the first to recognise this problem. Scientists have proposed open-data, open access, post-publication peer review, meta-studies and efforts to reproduce landmark studies as practices to help compensate for the high error rates in modern science. Beneficial as these corrective measures might be, perverse incentives on individuals and institutions remain the root problem.5

La stessa apposizione di un marchio di scientificità a quanto è uscito su riviste in seguito a revisione paritaria anonima sembra affetta, oltre che da ipercompetizione, da un difetto di trasparenza, come se la “pubblicazione” non fosse più il medium della pubblicità e dimostrabilità della scienza descritta da Merton, e anzi – così suggeriscono i curatori di Retraction Watch – fosse proprio il culto dell’articolo pubblicato a render difficile, o vana, la discussione pubblica e la condivisione dei dati.

Siamo convinti che sarebbe più facile correggere la letteratura scientifica se il nostro sistema di riconoscimento accademico non trattasse l’articolo pubblicato come un oggetto così sacro. È comprensibile che scienziati consapevoli che il loro futuro dipende dalle loro pubblicazioni siano riluttanti a macchiare la loro lista con ritrattazioni. Dobbiamo sostituire tali incentivi con ricompense per la condivisione di dati aperti, la revisione paritaria ex post e altre attività che riflettano il modo in cui desideriamo funzioni la scienza – incoraggiando chi si impegna onestamente sia a produrre i migliori risultati sia a correggere gli errori propri e altrui.6

3. Sociologia della scienza o teoria sociologica della conoscenza?

Da dove vengono gli “incentivi perversi” e l’”abuso dei sistemi di misura quantitativi” denunciati da Edwards e Roy, e non soltanto da loro? La prima indiziata sembra la sociologia della scienza: proprio perché la scienza dispone, o disponeva, di un sistema di comunicazione che era, almeno nell’età della stampa, relativamente pubblico e dimostrabile, in cui le citazioni con le quali gli studiosi richiamano le opere altrui sarebbero – o sarebbero state – una sorta di moneta, il loro computo può apparire una scorciatoia per valutare la ricerca senza dover, a propria volta, fare ricerca.

È – mertonianamente – legittimo trarre dalla sociologia della scienza delle regolarità da impiegare come norme di qualità scientifica?

La sociologia dell’ethos scientifico di R.K. Merton, sebbene spesso letta come un’idealizzazione, voleva essere la descrizione di una serie di norme informali che ispira(va?)no le comunità scientifiche europee sviluppatesi nell’età moderna.7 Non voleva, però, essere una teoria sociologica della conoscenza: una teoria, cioè, che non si limita a descrivere le norme riconosciute da una comunità scientifica, ma si pretende in grado di identificare le condizioni sociali della conoscenza valida. Una cosa, infatti, è indagare sull’ethos di una comunità scientifica storicamente configurata; un’altra, e ben diversa, è sostenere che le norme sociali informali che hanno accompagnato una sua particolare costruzione storica siano i criteri di validità della scienza in generale.

Chi usa la bibliometria per la valutazione della ricerca cade esattamente nell’equivoco contro cui Merton ammoniva: se, da sociologo della scienza, ho constatato empiricamente che le citazioni sono, o sono state, la moneta della scienza, allora posso valutare la ricerca semplicemente contandole, senza avere le competenze per comprenderle e discuterle. Il risultato di questa generalizzazione attraente ma fallace sarà che i ricercatori verranno indotti a scrivere non per diffondere le loro ricerche e offrirle alla discussione, ma per farsi citare.8 Le riviste su cui si calcolano questi punteggi, da mezzi che erano, si trasformeranno in fini, e diventeranno appetibili, a dispetto del loro pubblico di nicchia, agli oligopoli commerciali privati. Come sapeva lo stesso Merton, la riflessività delle scienze sociali le rende esse stesse esposte al paradosso essenziale dell’azione sociale. E proprio per questo anche le scienze sociali hanno il loro principio di indeterminazione, la legge di Goodhart:

When a measure becomes a target, it ceases to be a good measure.

4. Matematica e misantropia

I modelli matematici sono semplificazioni basate su una selezione di quanto, nella complessità del mondo, si ritiene rilevante: i loro punti ciechi riflettono i giudizi e i pregiudizi di chi li ha disegnati e di chi ne trae profitto.9 Se poi questi modelli fanno uso di dati vicari, che dovrebbero rappresentare una realtà più complicata e meno facilmente misurabile, non è sorprendente che il loro stesso successo li costringa nella legge di Goodhart.10

Questa gouvernance par les nombres può certo essere parte di quella trasformazione dell’università in un’azienda capitalistica di stato di cui era già consapevole Max Weber nel primo quarto del secolo scorso. Il meccanicismo burocratico, però, non promuove di per sé l’efficienza, soprattutto in un ambito difficile da meccanizzare perché vocato all’innovazione.11 Il perseguimento dell’”oggettività” di modelli e algoritmi, di giudizi spersonalizzati, aggregati e normalizzati, si basa su qualcosa di molto diverso – qualcosa che Platone, forse, avrebbe chiamato misologia.

Il carattere pubblico e dimostrabile della scienza ne facilita l’integrità, a condizione che ci siano persone disposte a parlare in pubblico, cioè a continuare la conversazione, come il Socrate del Fedone, anche a rischio di essere confutati o di diventare invisi a chi – monarca, popolo o tecnocrate – ha in mano il potere. Come il misantropo diffida della capacità delle persone di tendere all’onestà, così il misologo diffida della capacità dei ragionamenti di approssimarsi alla verità. La sua sfiducia, nel testo platonico, deriva da una sopravvalutazione delle proprie capacità e conoscenze, la quale gli fa credere di poter estrapolare un giudizio universale dal pochissimo che gli capita di aver esperito.12

Il misologo antico trovava il suo mestiere nella retorica, cioè nel discorso finalizzato a convincere utilmente e non a cercare inutilmente. Il misologo e misantropo contemporaneo, invece, ha pace nella quantificazione offertagli dai modelli matematici: se i giudizi dei singoli sono soggettivi, la loro aggregazione bibliometrica è invece, come per magia, oggettiva.

Come ha suggerito Giuseppe Longo, pensare che gli invarianti matematici siano l’essenza segreta degli oggetti della nostra esperienza è una forma di misticismo – forse molto più pitagorico che platonico.13 L’esoterismo dei dati chiusi e degli algoritmi moralmente indiscussi e indiscutibili di governance della società si confronta felicemente con la gerarchia di matematici ed acusmatici e con gli imbarazzanti segreti dell’antica setta di Crotone. Se poi la mistica numerica non viene solo insegnata e praticata per l’uso di adepti volontari, ma è imposta da un’autorità amministrativa centrale, il suo esito non sarà soltanto distorsivo: sarà inevitabilmente dispotico.

5. Deus ex machina: un’etica per la ricerca?

Come uscire da una crisi ormai avvertita perfino nelle sedi di qualche rivista Elsevier? Sarebbe sufficiente “attivare azioni di tipo culturale e di dissuasione, come codici etici e campagne di opinione che scoraggino comportamenti opportunistici”?14

Per rispondere a questa domanda, dobbiamo ricordare che la valutazione della ricerca è un esperimento di ingegneria sociale fondato sulla diffidenza – misantropica e misologica – nella capacità delle comunità scientifiche di valutarsi da sé. Algoritmi, modelli, incentivi e castighi sono stati annunciati e introdotti proprio per controllare e indirizzare meccanicamente ricercatori altrimenti “autoreferenziali”, pigri e nepotisti: ricercatori della cui etica, e quindi della cui libertà, si doveva diffidare. Introdurre sanzioni e premi per indurli a massimizzare la loro utilità producendo lavoro amministrativamente controllabile, si è pensato, li avrebbe regolati assai meglio della loro – abusiva – libertà. Se è così, però, dobbiamo chiederci se ricalare in scena l’etica come un deus ex machina non sia la confessione di un fallimento – o di un successo che sconta il paradosso essenziale dell’azione sociale.

Gli opportunisti fanno esattamente quello per cui sono stati addestrati: se il sistema di incentivi vigente ha insegnato loro che le citazioni e la pubblicazione in certe riviste sono più importanti del contenuto dei testi perché mai non dovrebbero cercare di massimizzare le citazioni e di produrre articoli commercialmente – ma non scientificamente – attraenti, adattandosi, da bravi homines oeconomici, al sistema che gli è stato imposto? Per fair play? Come ha scritto Barry Schwartz:

when you rely on incentives, you undermine virtues. Then when you discover that you actually need people who want to do the right thing, those people don’t exist because you’ve crushed anyone’s desire to do the right thing.

Richiamare in servizio l’etica dopo averla sostituita con un sistema di incentivazione di tipo meccanico non è soltanto difficile: è anche incoerente. Come sapeva Kant, non possiamo parlare di etica – o di diritto – senza postulare la libertà come sua condizione di possibilità. Per essere più che girarrosti caricati dalla molla degli incentivi, dovremmo condividere “lo spirito di una stima razionale del nostro valore e della vocazione di ogni essere umano a pensare da sé“. Ma questa condivisione, di nuovo, può aver luogo solo con la libertà dell’uso pubblico della ragione, cioè di rivolgerci a tutti parlando come studiosi, di scrivere per farci leggere e perfino criticare e non per piazzare testi inaccessibili in riviste bibliometricamente importanti o in piattaforme proprietarie che monetizzano il nostro narcisismo.

Una simile pubblicità, liberandoci dal Caesar supra grammaticos, non punterebbe su un sistema di incentivi e sanzioni amministrative fatalmente esposto al paradosso e all’abuso – cioè al dispotismo dall’alto e all’opportunismo da basso – ma ci chiederebbe di uscire di minorità per valutarci da noi: si tratta solo di capire se, nell’età dell’internet centralizzata 15 e del capitalismo delle piattaforme,16 e nel paese della valutazione di stato, siamo ancora in grado di farlo o è ormai troppo tardi.

  1. R.K. Merton, “Priorities in Scientific Discovery: A Chapter in the Sociology of Science”, American Sociological Review, Vol. 22, No. 6 (Dec., 1957), p. 651.
  2. Non bisogna dimenticare che la scienza moderna è riuscita a diventare pubblica e comprovabile prima che la revisione paritaria anonima diventasse una pratica canonica della pubblicazione scientifica – ancorché fin dall’inizio controversa.
  3. Paul A. David, The historical origins of ‘open science‘, 2007.
  4. Paolo Rossi, La nascita della scienza moderna in Europa, II.5.
  5. Mark A. Edwards, Siddhartha Roy, “Science is broken. Perverse incentives and the misuse of quantitative metrics have undermined the integrity of scientific research“, Aeon, 2016:, corsivo mio la versione integrale dell’articolo “Academic Research in the 21st Century: Maintaining Scientific Integrity in a Climate of Perverse Incentives and Hypercompetition” si trova in Environ Eng Sci. 2017 Jan 1; 34(1): 51–61; doi: 10.1089/ees.2016.0223.↩
  6. Ivan Oransky, Adam Marcus, “Two Cheers for the Retraction Boom,” The New Atlantis, 49, Spring/Summer 2016, pp. 41–45, trad. mia.
  7. Robert K. Merton, The Normative Structure of Science, 1942, I, trad.it. qui.
  8. V. per esempio Mario Biagioli, “Watch Out for Cheats in Citation Game”, Nature, 2016; Alberto Baccini, Collaborazionisti o resistenti. L’accademia al tempo della valutazione della ricerca, “Roars”, 2016, V.↩
  9. Kathy O’Neil, Weapons of math destruction: how big data increases inequality and threatens democracy, Crown Publishers, New York, I. Per esempio, quando U.S. News & World Report cominciò a classificare le università americane, costruì un modello che, per essere vendibile, doveva confermare il primato di celebrità come Harvard, Stanford, Princeton e Yale: e ciò si poteva fare solo escludendo dalle variabili da considerare il costo delle tasse e delle rette degli studenti. Il risultato fu che le università furono indotte a aumentare gli investimenti – e dunque le tasse studentesche – per adeguarsi ai criteri selezionati dai classificatori, a danno della maggioranza dei cittadini americani. Includere i costi – come mostra l’esperimento di Roars con il Politecnico di Bari – avrebbe prodotto classifiche diverse e orientate a diversi utenti.
  10. Come scrive Kathy O’Neil, “when you create a model from proxies, it is far simpler for people to game it. This is because proxies are easier to manipulate than the complicated reality they represent.”
  11. A meno di non voler ammettere che i sistemi di valutazione della ricerca di tipo amministrativo non mirano al progresso del sapere, ma alla sua stasi.
  12. La casualità della carriera accademica espone qualsiasi ricercatore a giudizi che possono apparirgli – e anche essere – insensati, inaccurati e idiosincratici.
  13. Platone, infatti, critica l’ontologia numerica pitagorica in Fedone 96c-97d, indicando le difficoltà che seguirebbero al trattare i numeri come essenze degli oggetti dell’esperienza, invece che come forme che si applicano ad essi. Non è infatti sufficiente credere che il “mondo vero” sia quello delle idee per concludere che l’esperienza si esaurisca nei modelli in cui la formalizziamo: non a caso Socrate, nel Fedone, dopo l’ultima formale dimostrazione dell’immortalità dell’anima, avverte la necessità di sostenerla con un mito.
  14. A. Bonaccorsi, “La valutazione della ricerca produce effetti indesiderati?” in Angelo Turco (a cura di), Culture della valutazione, Roma, Carocci, 2016, p. 39.
  15. Come scrive J.C. Guèdon in Open access – toward the internet of the mind, 2015 (trad. mia): “Internet, nei suoi primi anni, esaltava le interazioni fra gli utenti e cercava di ridurre al minimo la relazioni di potere. Le discussioni contemporanee sulla neutralità della rete riecheggiano quelle scelte iniziali. Era anche la bella età della netiquette spontaneamente seguita da netizen scrupolosi. Il sistema di comunicazione della scienza, come lnternet, mette spontaneamente la sua intelligenza al margine, nelle menti degli scienziati, e ne lascia poca nel sistema stesso. Purtroppo il tipo di accesso aperto proposto da Elsevier e dai suoi simili, pur declamando in apparenza il vocabolario dell’apertura e della condivisione, si fonda su una visione delle reti nella quale il controllo si trova nella rete di comunicazione e comincia a interferire con l’attività stessa della scienza. Per esempio, se l’obiettivo autentico è il perfezionamento della comunicazione fra ricercatori è impossibile giustificare la presenza di embarghi.”
  16. Per un approfondimento sul rischio che un accesso aperto imposto amministrativamente, con l’accordo degli editori commerciali, finisca per essere una forma di socialismo dei ricchi al servizio di oligopoli e oligarchie si veda per esempio Michael Hagner, “Open access, data capitalism and academic publishing, Swiss Medical Weekly, 2018, DOI: https://doi.org/10.4414/smw.2018.14600
Tags:

Accessi: 923

Ciò che non siamo: una conversazione sulle riviste scientifiche

DOI

Bozzetto per la copertina del volume Ossi di seppia di Eugenio Montale Einaudi Torino L’articolo di Marcello Vitali-Rosati Qu’est-ce qu’une revue scientifique? Et…qu’est-ce qu’elle devrait être?, in un ambiente più libero di quello italiano e forse anche con interlocutori migliori, si interroga sulla necessità e sulla funzione delle riviste scientifiche nell’ambiente digitale.

Secondo un modello che soltanto eufemisticamente possiamo chiamare ingenuo i ricercatori prima ricercano, poi scrivono e, concluso il loro lavoro, passano il cosiddetto prodotto della ricerca alle riviste, le quali hanno, in primo luogo, il compito di valutarlo scientificamente e di dargli una forma degna e, in secondo luogo, quello di diffonderlo.  Così, finalmente, si ottengono delle “pubblicazioni”. I ricercatori, è noto, se non pubblicano muoiono.

Chiunque, però, abbia una familiarità anche remota con la cosiddetta pubblicazione scientifica sa che:

  1. le riviste non si occupano affatto della valutazione e raramente dell’editing – lavori, questi, svolti graziosamente e gratuitamente da redattori e revisori di solito stipendiati, se lo sono, dalle università e non dagli editori;
  2. le riviste tradizionali non sono vocate a diffondere i testi, ma a prenderli in ostaggio, limitandone la circolazione: quanto nel mondo della stampa era un passaggio tecnologicamente ed economicamente obbligato ora è divenuto un ostacolo che non viene scavalcato solo grazie al feticismo della collocazione editoriale.

Come mai questo modello economico aberrante, nel quale chi lavora paga il datore di lavoro per l’onore di esserne sfruttato e trattenuto lontano dal pubblico, continua a sopravvivere? Se gli accademici fossero battitori liberi, smettere di mandare articoli alle riviste o – ancor meglio, smettere di scrivere articoli per comporre piuttosto ipertesti sezionabili, commentabili e linkabili – non apparirebbe eroicamente anticonformista, ma semplicemente razionale.

Allo stato, però, a causa di sistemi di valutazione della ricerca fondati sulla lettura delle testate delle riviste in cui gli articoli sono privatizzati,

è preferibile pubblicare un articolo stupido e inutile in una rivista che nessuno legge, ma dal nome noto, piuttosto che un testo intelligente e che sarà  letto da molti ricercatori, ma in un blog privo di valore simbolico.

Le prima età moderna, tuttavia, non ha inventato le riviste per questo. Le ha inventate per la comunicazione scientifica, cioè per formare comunità  in grado di conversare e di cooperare nella ricerca. La causa dell’aberrazione attuale è l’attaccamento a una soluzione ormai tecnologicamente ed economicamente inadeguata a rispondere al problema per il quale era stata pensata. Per uscirne occorrerebbe risalire, a ritroso, dall’atto alla potenza per riflettere sugli scopi originali delle riviste, e cioè:

  1. costruire comunità, cioè spazi organizzati tramite la comunicazione;
  2. mettere la conversazione al centro, cioè creare zone di dialogo: la diffusione è un compito ormai banale, ma la discussione attenta dei testi lo è sempre meno;
  3. creare modelli di semi-stabilizzazione della conoscenza.

Queste tre fasi sono distinguibili soltanto analiticamente, perché sono reciprocamente interconnesse in un processo che chi prendesse sul serio il lavoro della ricerca dovrebbe considerare. Le tecnologie digitali – e in particolare il web semantico – consentono di costruire strumenti di indicizzazione e di ricerca che si estendono al di sopra e al di là dei singoli siti, aprendo spazi di discussione e comunicazione decentralizzati, nei quali risulta manifesto che fare ricerca – discutere, connettere, rivedere – è molto più che “pubblicare”.

L’articolo di Marcello Vitali-Rosati, sebbene il suo tema non sia nuovo, mette in luce con chiarezza quanto una valutazione della ricerca incentrata sui prodotti invece che sui processi impedisce, anche quando pretende di esserne un distillato: la formazione di comunità di conoscenza  che sanno valutare la propria ricerca facendola. A noi resta soltanto da chiederci se la distopica alleanza di Big Business e Big Government, con i suoi interessi di lucro e di potere, si adoperi per disgregare le comunità e impedire le conversazioni che hanno edificato la scienza moderna per imperizia, per caso o per deliberato progetto. 

Testo segnalato da Elena Giglia

Tags:

Accessi: 471

Valutazione di stato e libertà della ricerca: una riflessione filosofico-giuridica

Particolare della Scuola di Atene di RaffaelloLa revisione paritaria (peer review) è una parte importante della procedura che conduce alla pubblicazione di un articolo in una rivista scientifica tradizionale, costruita e pensata per la tecnologia della stampa. A due o più studiosi di campi disciplinarmente pertinenti, selezionati discrezionalmente dalla redazione della rivista e protetti dall’anonimato, viene chiesto di pronunciarsi ex ante sulla pubblicabilità di un articolo. Quanto i revisori scartano non vede la luce; e, analogamente, rimangono nell’ombra i loro pareri e la loro eventuale conversazione con gli autori, che ha luogo solo per interposta persona. La revisione paritaria aperta ed ex post consente invece di rendere pubblica l’intera discussione e di riconoscere il merito dei revisori, i quali, come gli autori, rinunciano all’anonimato.
In questo spirito, il Bollettino telematico di filosofia politica propone due articoli:

Il primo testo critica la tesi esposta da Andrea Bonaccorsi nel recente La valutazione possibile. Teoria e pratica nel mondo della ricerca, Il Mulino, 2015, condensabile nella seguente affermazione: la valutazione è espressione degli imperativi istituzionali della scienza così come teorizzati da R.K. Merton. Per Roberto Caso, l’autore legge l’opera mertoniana in modo distorto e parziale e trascura la dimensione giuridica del rapporto tra norme formali poste dallo Stato nel processo valutativo e regole informali della scienza: è difficile trasformare quanto in Merton era l’ethos condiviso di una comunità scientifica autonoma in norme di diritto amministrativo senza alterarne profondamente la natura.  Infatti, il disegno della valutazione che Bonaccorsi rappresenta  come democratico, dialogico, condiviso e trasparente collide frontalmente con la prassi italiana dell’ANVUR, motore immobile di orrori giuridici nonché di un gigantesco contenzioso che consegna la vera e ultima valutazione ai giudici.

Il secondo testo si interroga sulle radici filosofiche di questi orrori. Per distinguere la riflessione della ragione teoretica e pratica dagli elementi empirici, prende le mosse da una concessione: fa finta  che il sistema di valutazione teorizzato da Bonaccorsi sia una fotografia – mertonianamente – fedele del modo in cui la comunità scientifica valuta se stessa. Ma, perfino con questa assunzione, la sua costruzione ha come esito un sistema di valutazione praticamente dispotico e teoreticamente retrogrado. Il sistema è dispotico perché trasforma un ethos informale e storico in una norma di diritto amministrativo fissa, che cessa di essere oggetto di scelta da parte della comunità scientifica; ed è retrogrado perché, stabilendo questa norma, cristallizza, come nel castello incantato della Bella addormentata nel bosco, l’evoluzione in un fermo-immagine non più superabile senza ulteriori interventi amministrativi. A questo argomento principale si aggiungono alcune parti accessorie: la prima si occupa della questione, proposta da Bonaccorsi, della verificabilità empirica di alcune tesi dei suoi critici; la seconda prende in esame un campione di citazioni addotte dall’autore a sostegno di alcuni passaggi argomentativi importanti.

Entrambi i contributi sono ispirati dalla prospettiva ideale e critica della scienza aperta, che è già in grado di orientare, perfino con gli strumenti attualmente esistenti, un sistema di valutazione più conforme al principio costituzionale della libertà  delle arti, delle scienze e del loro insegnamento.

Le istruzioni per chi desidera partecipare alla revisione paritaria aperta si trovano qui.

È ora possibile commentare entrambi gli articoli anche su SJScience.org, qui e qui.

DOI

DOI

Tags:

Accessi: 1179

image_print