Integrità della ricerca: i numeri, gli uomini e la scienza

Questo testo rielabora l’introduzione al convegno Scienza aperta e integrità della ricerca (Milano, 9-10 novembre 2017). Fino a che punto possiamo parlare di integrità della ricerca senza interrogarci, pregiudizialmente, sulla sua libertà? Gli interventi del convegno, ora disponibili qui, hanno offerto qualche tentativo di risposta.

1. R.K. Merton: una questione di pubblicità Rembrandt, Lezione di anatomia del dottor Tulp

Poco più di sessant’anni fa Robert K. Merton poteva permettersi di scrivere che le frodi vere e proprie – quali le truffe e le falsificazioni dei dati – erano relativamente rare nel mondo della scienza perché “personal honesty is supported by the public and testable character of science”.1 L’ethos della comunità scientifica dava infatti forma a un sistema di autocontrollo diffuso, basato sull’equilibrio dei due valori divergenti del riconoscimento dell’originalità e del servizio disinteressato alla verità, che consisteva nell’esposizione di tutte le pretese teoriche, sperimentali e no, all’uso pubblico della ragione. Questa garanzia procedurale, in grado di trascendere i singoli e la loro eventuale onestà, è conseguenza di un’innovazione della rivoluzione scientifica moderna: la pubblicità della ricerca,2 sia pure negli ambienti circoscritti delle accademie3 ed entro i limiti economici, giuridici e tecnologici propri della stampa.

Per cogliere la differenza, che è del tutto evidente, tra la magia rinascimentale e la scienza moderna, è necessario riflettere, non solo sui contenuti e sui metodi, ma sulle immagini del sapere e sulle immagini del sapiente. Nel nostro mondo sono certo presenti molti segreti, e in esso vivono molti teorici e pratici degli arcana imperii. Ci sono anche moltissime e spesso non «oneste» dissimulazioni. Anche nella storia della scienza sono stati presenti dei dissimulatori. Va tuttavia sottolineato che, dopo la prima rivoluzione scientifica, nella letteratura scientifica e nella letteratura sulla scienza non esiste né potrà più esistere – a differenza di quanto è largamente accaduto e accade nel mondo della politica – un elogio o una valutazione positiva della dissimulazione. Dissimulare, non rendere pubbliche le proprie opinioni vuol dire solo truffare o tradire. Gli scienziati, in quanto costituiscono una comunità, possono essere costretti alla segretezza, ma devono, appunto, essere costretti. Quando una tale costrizione si verifica, variamente protestano o addirittura, come anche in questo secolo è avvenuto, si ribellano a essa con decisione. La particella di nell’espressione linguistica «leggi di Keplero» non indica affatto una proprietà: serve solo a perpetuare la memoria di un grande personaggio. La segretezza, per la scienza e all’interno della scienza, è diventata un disvalore. 4

2. Dalla sociologia della scienza alla bibliometria

Sessant’anni dopo pare più difficile credere che la scienza sappia auto-correggersi in virtù del suo carattere pubblico e comprovabile.

Today, there are compelling reasons to doubt that science as a whole is self-correcting. We are not the first to recognise this problem. Scientists have proposed open-data, open access, post-publication peer review, meta-studies and efforts to reproduce landmark studies as practices to help compensate for the high error rates in modern science. Beneficial as these corrective measures might be, perverse incentives on individuals and institutions remain the root problem.5

La stessa apposizione di un marchio di scientificità a quanto è uscito su riviste in seguito a revisione paritaria anonima sembra affetta, oltre che da ipercompetizione, da un difetto di trasparenza, come se la “pubblicazione” non fosse più il medium della pubblicità e dimostrabilità della scienza descritta da Merton, e anzi – così suggeriscono i curatori di Retraction Watch – fosse proprio il culto dell’articolo pubblicato a render difficile, o vana, la discussione pubblica e la condivisione dei dati.

Siamo convinti che sarebbe più facile correggere la letteratura scientifica se il nostro sistema di riconoscimento accademico non trattasse l’articolo pubblicato come un oggetto così sacro. È comprensibile che scienziati consapevoli che il loro futuro dipende dalle loro pubblicazioni siano riluttanti a macchiare la loro lista con ritrattazioni. Dobbiamo sostituire tali incentivi con ricompense per la condivisione di dati aperti, la revisione paritaria ex post e altre attività che riflettano il modo in cui desideriamo funzioni la scienza – incoraggiando chi si impegna onestamente sia a produrre i migliori risultati sia a correggere gli errori propri e altrui.6

3. Sociologia della scienza o teoria sociologica della conoscenza?

Da dove vengono gli “incentivi perversi” e l’”abuso dei sistemi di misura quantitativi” denunciati da Edwards e Roy, e non soltanto da loro? La prima indiziata sembra la sociologia della scienza: proprio perché la scienza dispone, o disponeva, di un sistema di comunicazione che era, almeno nell’età della stampa, relativamente pubblico e dimostrabile, in cui le citazioni con le quali gli studiosi richiamano le opere altrui sarebbero – o sarebbero state – una sorta di moneta, il loro computo può apparire una scorciatoia per valutare la ricerca senza dover, a propria volta, fare ricerca.

È – mertonianamente – legittimo trarre dalla sociologia della scienza delle regolarità da impiegare come norme di qualità scientifica?

La sociologia dell’ethos scientifico di R.K. Merton, sebbene spesso letta come un’idealizzazione, voleva essere la descrizione di una serie di norme informali che ispira(va?)no le comunità scientifiche europee sviluppatesi nell’età moderna.7 Non voleva, però, essere una teoria sociologica della conoscenza: una teoria, cioè, che non si limita a descrivere le norme riconosciute da una comunità scientifica, ma si pretende in grado di identificare le condizioni sociali della conoscenza valida. Una cosa, infatti, è indagare sull’ethos di una comunità scientifica storicamente configurata; un’altra, e ben diversa, è sostenere che le norme sociali informali che hanno accompagnato una sua particolare costruzione storica siano i criteri di validità della scienza in generale.

Chi usa la bibliometria per la valutazione della ricerca cade esattamente nell’equivoco contro cui Merton ammoniva: se, da sociologo della scienza, ho constatato empiricamente che le citazioni sono, o sono state, la moneta della scienza, allora posso valutare la ricerca semplicemente contandole, senza avere le competenze per comprenderle e discuterle. Il risultato di questa generalizzazione attraente ma fallace sarà che i ricercatori verranno indotti a scrivere non per diffondere le loro ricerche e offrirle alla discussione, ma per farsi citare.8 Le riviste su cui si calcolano questi punteggi, da mezzi che erano, si trasformeranno in fini, e diventeranno appetibili, a dispetto del loro pubblico di nicchia, agli oligopoli commerciali privati. Come sapeva lo stesso Merton, la riflessività delle scienze sociali le rende esse stesse esposte al paradosso essenziale dell’azione sociale. E proprio per questo anche le scienze sociali hanno il loro principio di indeterminazione, la legge di Goodhart:

When a measure becomes a target, it ceases to be a good measure.

4. Matematica e misantropia

I modelli matematici sono semplificazioni basate su una selezione di quanto, nella complessità del mondo, si ritiene rilevante: i loro punti ciechi riflettono i giudizi e i pregiudizi di chi li ha disegnati e di chi ne trae profitto.9 Se poi questi modelli fanno uso di dati vicari, che dovrebbero rappresentare una realtà più complicata e meno facilmente misurabile, non è sorprendente che il loro stesso successo li costringa nella legge di Goodhart.10

Questa gouvernance par les nombres può certo essere parte di quella trasformazione dell’università in un’azienda capitalistica di stato di cui era già consapevole Max Weber nel primo quarto del secolo scorso. Il meccanicismo burocratico, però, non promuove di per sé l’efficienza, soprattutto in un ambito difficile da meccanizzare perché vocato all’innovazione.11 Il perseguimento dell’”oggettività” di modelli e algoritmi, di giudizi spersonalizzati, aggregati e normalizzati, si basa su qualcosa di molto diverso – qualcosa che Platone, forse, avrebbe chiamato misologia.

Il carattere pubblico e dimostrabile della scienza ne facilita l’integrità, a condizione che ci siano persone disposte a parlare in pubblico, cioè a continuare la conversazione, come il Socrate del Fedone, anche a rischio di essere confutati o di diventare invisi a chi – monarca, popolo o tecnocrate – ha in mano il potere. Come il misantropo diffida della capacità delle persone di tendere all’onestà, così il misologo diffida della capacità dei ragionamenti di approssimarsi alla verità. La sua sfiducia, nel testo platonico, deriva da una sopravvalutazione delle proprie capacità e conoscenze, la quale gli fa credere di poter estrapolare un giudizio universale dal pochissimo che gli capita di aver esperito.12

Il misologo antico trovava il suo mestiere nella retorica, cioè nel discorso finalizzato a convincere utilmente e non a cercare inutilmente. Il misologo e misantropo contemporaneo, invece, ha pace nella quantificazione offertagli dai modelli matematici: se i giudizi dei singoli sono soggettivi, la loro aggregazione bibliometrica è invece, come per magia, oggettiva.

Come ha suggerito Giuseppe Longo, pensare che gli invarianti matematici siano l’essenza segreta degli oggetti della nostra esperienza è una forma di misticismo – forse molto più pitagorico che platonico.13 L’esoterismo dei dati chiusi e degli algoritmi moralmente indiscussi e indiscutibili di governance della società si confronta felicemente con la gerarchia di matematici ed acusmatici e con gli imbarazzanti segreti dell’antica setta di Crotone. Se poi la mistica numerica non viene solo insegnata e praticata per l’uso di adepti volontari, ma è imposta da un’autorità amministrativa centrale, il suo esito non sarà soltanto distorsivo: sarà inevitabilmente dispotico.

5. Deus ex machina: un’etica per la ricerca?

Come uscire da una crisi ormai avvertita perfino nelle sedi di qualche rivista Elsevier? Sarebbe sufficiente “attivare azioni di tipo culturale e di dissuasione, come codici etici e campagne di opinione che scoraggino comportamenti opportunistici”?14

Per rispondere a questa domanda, dobbiamo ricordare che la valutazione della ricerca è un esperimento di ingegneria sociale fondato sulla diffidenza – misantropica e misologica – nella capacità delle comunità scientifiche di valutarsi da sé. Algoritmi, modelli, incentivi e castighi sono stati annunciati e introdotti proprio per controllare e indirizzare meccanicamente ricercatori altrimenti “autoreferenziali”, pigri e nepotisti: ricercatori della cui etica, e quindi della cui libertà, si doveva diffidare. Introdurre sanzioni e premi per indurli a massimizzare la loro utilità producendo lavoro amministrativamente controllabile, si è pensato, li avrebbe regolati assai meglio della loro – abusiva – libertà. Se è così, però, dobbiamo chiederci se ricalare in scena l’etica come un deus ex machina non sia la confessione di un fallimento – o di un successo che sconta il paradosso essenziale dell’azione sociale.

Gli opportunisti fanno esattamente quello per cui sono stati addestrati: se il sistema di incentivi vigente ha insegnato loro che le citazioni e la pubblicazione in certe riviste sono più importanti del contenuto dei testi perché mai non dovrebbero cercare di massimizzare le citazioni e di produrre articoli commercialmente – ma non scientificamente – attraenti, adattandosi, da bravi homines oeconomici, al sistema che gli è stato imposto? Per fair play? Come ha scritto Barry Schwartz:

when you rely on incentives, you undermine virtues. Then when you discover that you actually need people who want to do the right thing, those people don’t exist because you’ve crushed anyone’s desire to do the right thing.

Richiamare in servizio l’etica dopo averla sostituita con un sistema di incentivazione di tipo meccanico non è soltanto difficile: è anche incoerente. Come sapeva Kant, non possiamo parlare di etica – o di diritto – senza postulare la libertà come sua condizione di possibilità. Per essere più che girarrosti caricati dalla molla degli incentivi, dovremmo condividere “lo spirito di una stima razionale del nostro valore e della vocazione di ogni essere umano a pensare da sé“. Ma questa condivisione, di nuovo, può aver luogo solo con la libertà dell’uso pubblico della ragione, cioè di rivolgerci a tutti parlando come studiosi, di scrivere per farci leggere e perfino criticare e non per piazzare testi inaccessibili in riviste bibliometricamente importanti o in piattaforme proprietarie che monetizzano il nostro narcisismo.

Una simile pubblicità, liberandoci dal Caesar supra grammaticos, non punterebbe su un sistema di incentivi e sanzioni amministrative fatalmente esposto al paradosso e all’abuso – cioè al dispotismo dall’alto e all’opportunismo da basso – ma ci chiederebbe di uscire di minorità per valutarci da noi: si tratta solo di capire se, nell’età dell’internet centralizzata 15 e del capitalismo delle piattaforme,16 e nel paese della valutazione di stato, siamo ancora in grado di farlo o è ormai troppo tardi.

  1. R.K. Merton, “Priorities in Scientific Discovery: A Chapter in the Sociology of Science”, American Sociological Review, Vol. 22, No. 6 (Dec., 1957), p. 631.
  2. Non bisogna dimenticare che la scienza moderna è riuscita a diventare pubblica e comprovabile prima che la revisione paritaria anonima diventasse una pratica canonica della pubblicazione scientifica – ancorché fin dall’inizio controversa.
  3. Paul A. David, The historical origins of ‘open science‘, 2007.
  4. Paolo Rossi, La nascita della scienza moderna in Europa, II.5.
  5. Mark A. Edwards, Siddhartha Roy, “Science is broken. Perverse incentives and the misuse of quantitative metrics have undermined the integrity of scientific research“, Aeon, 2016:, corsivo mio la versione integrale dell’articolo “Academic Research in the 21st Century: Maintaining Scientific Integrity in a Climate of Perverse Incentives and Hypercompetition” si trova in Environ Eng Sci. 2017 Jan 1; 34(1): 51–61; doi: 10.1089/ees.2016.0223.↩
  6. Ivan Oransky, Adam Marcus, “Two Cheers for the Retraction Boom,” The New Atlantis, 49, Spring/Summer 2016, pp. 41–45, trad. mia.
  7. Robert K. Merton, The Normative Structure of Science, 1942, I, trad.it. qui.
  8. V. per esempio Mario Biagioli, “Watch Out for Cheats in Citation Game”, Nature, 2016; Alberto Baccini, Collaborazionisti o resistenti. L’accademia al tempo della valutazione della ricerca, “Roars”, 2016, V.↩
  9. Kathy O’Neil, Weapons of math destruction: how big data increases inequality and threatens democracy, Crown Publishers, New York, I. Per esempio, quando U.S. News & World Report cominciò a classificare le università americane, costruì un modello che, per essere vendibile, doveva confermare il primato di celebrità come Harvard, Stanford, Princeton e Yale: e ciò si poteva fare solo escludendo dalle variabili da considerare il costo delle tasse e delle rette degli studenti. Il risultato fu che le università furono indotte a aumentare gli investimenti – e dunque le tasse studentesche – per adeguarsi ai criteri selezionati dai classificatori, a danno della maggioranza dei cittadini americani. Includere i costi – come mostra l’esperimento di Roars con il Politecnico di Bari – avrebbe prodotto classifiche diverse e orientate a diversi utenti.
  10. Come scrive Kathy O’Neil, “when you create a model from proxies, it is far simpler for people to game it. This is because proxies are easier to manipulate than the complicated reality they represent.”
  11. A meno di non voler ammettere che i sistemi di valutazione della ricerca di tipo amministrativo non mirano al progresso del sapere, ma alla sua stasi.
  12. La casualità della carriera accademica espone qualsiasi ricercatore a giudizi che possono apparirgli – e anche essere – insensati, inaccurati e idiosincratici.
  13. Platone, infatti, critica l’ontologia numerica pitagorica in Fedone 96c-97d, indicando le difficoltà che seguirebbero al trattarli come essenze degli oggetti dell’esperienza, invece che come forme che si applicano ad essi. Non è infatti sufficiente credere che il “mondo vero” sia quello delle idee per concludere che l’esperienza si esaurisca nei modelli in cui la formalizziamo: non a caso Socrate, nel Fedone, dopo l’ultima formale dimostrazione dell’immortalità dell’anima, avverte la necessità di sostenerla con un mito.
  14. A. Bonaccorsi, “La valutazione della ricerca produce effetti indesiderati?” in Angelo Turco (a cura di), Culture della valutazione, Roma, Carocci, 2016, p. 39.
  15. Come scrive J.C. Guèdon in Open access – toward the internet of the mind, 2015 (trad. mia): “Internet, nei suoi primi anni, esaltava le interazioni fra gli utenti e cercava di ridurre al minimo la relazioni di potere. Le discussioni contemporanee sulla neutralità della rete riecheggiano quelle scelte iniziali. Era anche la bella età della netiquette spontaneamente seguita da netizen scrupolosi. Il sistema di comunicazione della scienza, come lnternet, mette spontaneamente la sua intelligenza al margine, nelle menti degli scienziati, e ne lascia poca nel sistema stesso. Purtroppo il tipo di accesso aperto proposto da Elsevier e dai suoi simili, pur declamando in apparenza il vocabolario dell’apertura e della condivisione, si fonda su una visione delle reti nella quale il controllo si trova nella rete di comunicazione e comincia a interferire con l’attività stessa della scienza. Per esempio, se l’obiettivo autentico è il perfezionamento della comunicazione fra ricercatori è impossibile giustificare la presenza di embarghi.”
  16. Per un approfondimento sul rischio che un accesso aperto imposto amministrativamente, con l’accordo degli editori commerciali, finisca per essere una forma di socialismo dei ricchi al servizio di oligopoli e oligarchie si veda per esempio Michael Hagner, “Open access, data capitalism and academic publishing, Swiss Medical Weekly, 2018, DOI: https://doi.org/10.4414/smw.2018.14600
Tags:

Accessi: 100