Valutazione della ricerca

Valutazione di stato e libertà della ricerca: una riflessione filosofico-giuridica

Particolare della Scuola di Atene di RaffaelloLa revisione paritaria (peer review) è una parte importante della procedura che conduce alla pubblicazione di un articolo in una rivista scientifica tradizionale, costruita e pensata per la tecnologia della stampa. A due o più studiosi di campi disciplinarmente pertinenti, selezionati discrezionalmente dalla redazione della rivista e protetti dall’anonimato, viene chiesto di pronunciarsi ex ante sulla pubblicabilità di un articolo. Quanto i revisori scartano non vede la luce; e, analogamente, rimangono nell’ombra i loro pareri e la loro eventuale conversazione con gli autori, che ha luogo solo per interposta persona. La revisione paritaria aperta ed ex post consente invece di rendere pubblica l’intera discussione e di riconoscere il merito dei revisori, i quali, come gli autori, rinunciano all’anonimato.
In questo spirito, il Bollettino telematico di filosofia politica propone due articoli:

Il primo testo critica la tesi esposta da Andrea Bonaccorsi nel recente La valutazione possibile. Teoria e pratica nel mondo della ricerca, Il Mulino, 2015, condensabile nella seguente affermazione: la valutazione è espressione degli imperativi istituzionali della scienza così come teorizzati da R.K. Merton. Per Roberto Caso, l’autore legge l’opera mertoniana in modo distorto e parziale e trascura la dimensione giuridica del rapporto tra norme formali poste dallo Stato nel processo valutativo e regole informali della scienza: è difficile trasformare quanto in Merton era l’ethos condiviso di una comunità scientifica autonoma in norme di diritto amministrativo senza alterarne profondamente la natura.  Infatti, il disegno della valutazione che Bonaccorsi rappresenta  come democratico, dialogico, condiviso e trasparente collide frontalmente con la prassi italiana dell’ANVUR, motore immobile di orrori giuridici nonché di un gigantesco contenzioso che consegna la vera e ultima valutazione ai giudici.

Il secondo testo si interroga sulle radici filosofiche di questi orrori. Per distinguere la riflessione della ragione teoretica e pratica dagli elementi empirici, prende le mosse da una concessione: fa finta  che il sistema di valutazione teorizzato da Bonaccorsi sia una fotografia – mertonianamente – fedele del modo in cui la comunità scientifica valuta se stessa. Ma, perfino con questa assunzione, la sua costruzione ha come esito un sistema di valutazione praticamente dispotico e teoreticamente retrogrado. Il sistema è dispotico perché trasforma un ethos informale e storico in una norma di diritto amministrativo fissa, che cessa di essere oggetto di scelta da parte della comunità scientifica; ed è retrogrado perché, stabilendo questa norma, cristallizza, come nel castello incantato della Bella addormentata nel bosco, l’evoluzione in un fermo-immagine non più superabile senza ulteriori interventi amministrativi. A questo argomento principale si aggiungono alcune parti accessorie: la prima si occupa della questione, proposta da Bonaccorsi, della verificabilità empirica di alcune tesi dei suoi critici; la seconda prende in esame un campione di citazioni addotte dall’autore a sostegno di alcuni passaggi argomentativi importanti.

Entrambi i contributi sono ispirati dalla prospettiva ideale e critica della scienza aperta, che è già in grado di orientare, perfino con gli strumenti attualmente esistenti, un sistema di valutazione più conforme al principio costituzionale della libertà  delle arti, delle scienze e del loro insegnamento.

Le istruzioni per che desidera partecipare alla revisione paritaria aperta si trovano qui.

È ora possibile commentare entrambi gli articoli anche su SJScience.org, qui e qui.

Tags:

Accessi: 335

Classificazione delle riviste: un breve confronto fra l’ANVUR e la Directory of Open Access Journals

La Cassazione a Sezioni Unite, con una recentissima sentenza (Cass., sez. un., 28 febbraio 2017, n. 5058), analizzata su “Roars“, a conferma di quanto già stabilito dal Consiglio di Stato, indica con chiarezza qual è il vizio giuridico delle classificazioni ANVUR:

la mancata predeterminazione di criteri ex ante da porre a fondamento delle determinazioni dell’amministrazione.

In altre parole, le decisioni classificatorie dell’ANVUR in merito alle riviste, a dispetto dell’importanza che hanno per la valutazione della ricerca e l’accesso all’abilitazione scientifica nazionale, sono, eufemisticamente, arbitrarie. Per essere più chiari – si tratta pur sempre di deliberazioni amministrative in uno stato che vorrebbe essere di diritto – possiamo anche dire: le decisioni classificatorie dell’ANVUR sono, francamente,  dispotiche.

Immagine: bilancia della giustiziaIl DOAJ, da parte sua, pur non essendo un indice stilato da un’autorità amministrativa e non danneggiando chi preferisce percorrere altre strade, predetermina i suoi criteri ex ante. Qui, per esempio, uno dei redattori italiani del DOAJ li spiega in modo chiaro e dettagliato. Anche se non si tratta di un giudizio, chi fa domanda d’inclusione sa con quale metro la sua rivista verrà misurata.

Il DOAJ è debole, perché tiene in mano solo una bilancia mentre l’ANVUR è armata della spada del potere amministrativo. Chi ha l’onore di contribuirvi come redattore volontario sa che, per quanto i criteri siano stati affinati nel tempo, non potranno mai interamente catturare, nel bene e nel male, le molte cose in cielo e in terra che non riusciamo a sognare con  la nostra filosofia. Ma proprio questo è il suo pregio: il suo tentativo di costruire e di argomentare collettivamente una catalogazione di una parte del mondo della comunicazione scientifica non può diventare dispotico. A sostenerlo, infatti, c’è la debolezza di una bilancia e non la forza di una spada che fatica, a quanto pare, a contenersi  nei limiti del diritto.

Tags:

Accessi: 104

“Sono i [meta]dati, stupido”: perché Elsevier ha comprato SSRN

Queen Mary’s Psalter, Wikimedia commons A riprova di quanto sia pericoloso confondere un social medium accademico proprietario, ancorché relativamente accessibile, con un archivio ad accesso aperto, vale il recentissimo annuncio dell’acquisto di SSRN da parte della multinazionale dell’editoria scientifica Elsevier.  Anche se molti autori temono che i testi da loro depositati vengano resi meno accessibili, il rischio più serio non è questo. Elsevier, infatti, grazie a SSRN, e alla possibilità di connetterlo a Mendeley, di cui si era già impadronita in precedenza, metterà le mani su un’enorme quantità di metadati.
Come spiega Christopher M. Kelty in It’s the Data, Stupid: What Elsevier’s purchase of SSRN also means, SSRN in realtà non dispone di metadati particolarmente sofisticati: il numero degli autori, il numero di articoli per autore, il numero di scaricamenti e il numero di citazioni per articolo. Queste cifre, tuttavia, sono preziose perché vengono da un grande archivio accessibile, anche se non propriamente ad accesso aperto, e interdisciplinare, non connesso a nessuna aggregazione editoriale e a nessun sistema di metrica proprietario. La sua prospettiva, dunque, è molto più ampia di quella accessibile non soltanto a una singola riviste, ma anche a un singolo editore, per quanto grande possa essere.
Quindi: se le burocrazie accademiche e gli studiosi stessi continueranno a valutare e far valutare la loro ricerca con statistiche d’impatto, Elsevier potrà aiutarli a farlo – presumibilmente non a titolo gratuito.
Kelty suggerisce che il comunicato stampa di Elsevier:

Elsevier is actively linking data and analytics to its vast content base in ways no other potential SSRN partner can match. By connecting Mendeley, Scopus, ScienceDirect and its editorial systems, they’re helping researchers get a more complete picture of their research landscape. Institutions will also benefit with a better view of their researchers’ impact [corsivi miei].

debba essere tradotto così:

  • “helping researchers get a more complete picture” significa: “saremo in grado di produrre statistiche d’impatto applicabili al singolo ricercatore”;
  • “Institutions will also benefit” significa: “per queste statistiche le università saranno disposte a pagare un sacco di soldi”.

I metadati di SSRN erano già proprietari; con il suo acquisto si aggregheranno ad altri metadati entro un più ampio e pervasivo sistema editoriale proprietario, che, con tutta probabilità, pianifica di spostarsi dalla contestata e vulnerabile pubblicazione ad accesso chiuso a forme più avanzate di feudalesimo digitale.   Chi li comprerà accetterà, ancora una volta, che alla formazione dei criteri di valutazione della ricerca contribuiscano oligopoli il cui interesse è molto lontano da quello della scienza. Il mondo accademico che ci siamo costruiti, scrive Kelty, è un mondo in cui “un gran quantità di giudizi su qualità, reclutamento, avanzamento di carriera, conferimento di cattedre e premi è decisa da metriche poco trasparenti offerte da aziende a scopo di lucro.”

Ci va bene così? Se sì, possiamo lasciare i nostri articoli su SSRN avendo probabilmente poco da temere per la loro accessibilità. Se no, non è difficile spostarli  su un vero archivio ad accesso aperto.  Basta farlo.

Tags:

Accessi: 222