Category Archives: Valutazione della ricerca

Dissonanze: Giuseppe Valditara e la valutazione dell’università e della ricerca

DOI

MusicistiIl Circolo universitario “Giorgio Errera” ha messo a disposizione di tutti un testo che il senatore Valditara, capo dipartimento per la formazione superiore e la ricerca presso il MIUR, aveva inviato ai rettori per chiedere loro osservazioni e suggerimenti. Il documento, nato come corrispondenza di un funzionario con un’associazione privata di funzionari governativi de facto, è un atto di uso della ragione soltanto privato. Chi desidera discuterlo pubblicamente dovrà essere consapevole che, anche in questo caso, il suo uso pubblico della ragione potrebbe rimanere unilaterale.

1. Ricercatori da competizione

I sistemi di valutazione rappresentano uno strumento indispensabile per il Decisore politico, sia per il governo del sistema sia per la corretta allocazione delle risorse, sia, infine, per la competizione sulla platea internazionale.

Reso in termini meno impersonali questo preambolo informa che il “decisore politico” governa il sistema dell’università e della ricerca, finanzia i suoi vari rami – ”risorse scarse vanno attribuite premiando chi le usa in modo virtuoso” – e persegue la competizione internazionale, impiegando la valutazione della ricerca per attuare tali scopi.

La valutazione della ricerca è dunque valutazione di stato, in primo luogo in quanto strumento al servizio del governo per i suoi scopi amministrativi e gestionali, e in secondo luogo in quanto processo estrinseco alla ricerca stessa tanto da essere deputato a organi specifici. A questa valutazione di stato corrisponde una scienza di stato il cui fine è “la competizione”.

In verità la premessa del documento annovera fra i fini anche i “soddisfacenti risultati in termini di qualità della ricerca e della didattica”. Ma se chiediamo: “soddisfacenti per chi?” “soddisfacenti secondo quali criteri?” ci rendiamo conto che la misura pubblica della soddisfazione è principalmente l’attitudine alla competizione. Secondo Valditara, gli effetti benefici della valutazione di stato della ricerca come si è svolta finora in Italia sono stati infatti i seguenti:

  • una maggiore conoscenza del sistema;
  • il fatto che “la ricerca scientifica italiana risulta in posizione elevata nei Ranking internazionali”;
  • il risanamento dei bilanci delle università “con fra l’altro una spesa per il personale che è nella pressoché totalità dei casi inferiore all’80% in rapporto all’FFO”.

I dati grezzi su cui si è basata la valutazione di stato non sono liberamente disponibili: agli italiani sono arrivate classifiche basate su dati e responsi prevalentemente riservati, comprendenti opere ad accesso chiuso temporaneamente ospitate da archivi neri, indici citazionali ricavati da banche dati estere, oligopolistiche e proprietarie come Clarivate Analytics e Scopus; ai ricercatori sono pervenuti giudizi immotivati di anonimi funzionari d’indiretta nomina governativa, per accedere ai cui atti è stato necessario ricorrere alla giustizia amministrativa. La maggior conoscenza del sistema, se mai c’è stata, è rimasta nei forzieri dell’amministrazione, inaccessibile ai cittadini in generale, e ai ricercatori indipendenti in particolare.

Quanto alle classifiche internazionali – quali delle molte? – la posizione italiana è pressoché invariata negli ultimi due decenni: nelle serie storiche di Scimago, per esempio, che cominciano nel 1996 per estendersi fino ai nostri giorni, l’Italia oscilla costantemente fra il settimo e l’ottavo posto.

Il “risanamento” dei bilanci delle università italiane, infine, non è certo dovuto alla valutazione di stato, ma a una politica di drastici tagli e blocchi delle assunzioni destinata a persistere: il documento Valditara, infatti, tratta la “scarsità delle risorse” non come l’effetto di una decisione politica a cui egli stesso ha contribuito, bensì come una condizione naturale.

Resta, dunque, la competizione: ma in che senso e a quale scopo? Nel documento si parla di “competizione sulla platea internazionale”, subito prima di menzionare, genericamente, i “ranking”; si dice che la valutazione di stato ha stimolato “la competizione identificando i cosiddetti ‘inattivi’”,1 che la farraginosità e incoerenza della normativa attuale rende “non competitiva” la ricaduta della ricerca sulla società, vale a dire la “competitività e sviluppo da essa derivati”, e che però non si dovrebbero “pretendere gli eccessi di competitività della ricerca e dirigismo di oltreoceano”.

Per Adam Smith la competizione sul mercato non era fine a se stessa, ma serviva a mantenere i prezzi sotto controllo, evitandone la massimizzazione a danno degli acquirenti che sarebbe seguita al monopolio.2 Il documento Valditara sembra invece usarla in un senso generico, orientandola su criteri differenti e senza preoccuparsi di indicarne i fini. Il professore “inattivo” sarebbe incentivato a scrivere qualcosa, distogliendosi dall’eventuale lucrosa libera professione che assorbe il suo tempo, in virtù della gara indetta dalla valutazione di stato; la prevalenza nella competizione internazionale viene misurata da indeterminate classifiche che vengono assunte come autorevoli; la ricerca, ricadendo sulla società, la rende “competitiva”.3

Per che cosa si competa, un bollino da parte della valutazione di stato italiana, un avanzamento in classifiche internazionali stilate da intraprese commerciali private in base a dati e criteri discutibili,4 la preponderanza militare o la supremazia commerciale, e se la competitività sia effettivamente in grado di produrre ricercatori la cui specialità non si riduca all’abilità di soverchiare gli altri, sembra indifferente: la competizione, movente universale del genere umano, è in se stessa uno scopo. “Guerra è sempre”. Quanto per il padre dell’economia politica contemporanea era solo un mezzo da applicarsi in un mercato di oggetti fungibili5 qui diventa un fine non bisognoso di giustificazione. Con un’evoluzione familiare ai lettori di Weber,6 mezzi e fini si sono invertiti: dobbiamo – pur senza eccessi transatlantici – essere competitivi anche se non sappiamo perché.

2. L’autonomia è eteronomia

Il documento di Valditara – già relatore della cosiddetta legge Gelmini – è stato apprezzato per le sue critiche all’ANVUR, l’ente “inquisitorio e burocratico” attualmente preposto alla valutazione di stato, e alla sua “dittatura dell’algoritmo”, pur instaurata su un sistema come quello italiano, che avrebbe una “scarsa attitudine alla valutazione dei risultati” e una “scarsa attenzione al merito”, secondo il principio “ti do poco, pretendo poco e non ti controllo”.

L’introduzione dell’ANVUR avrebbe condotto dalla passata “autonomia irresponsabile” a una “autonomia controllata” ipernormata e deresponsabilizzante, che ha irrigidito, appesantito e distorto i processi, alimentando comportamenti opportunistici e rinchiudendo la ricerca entro perimetri disciplinari impermeabili. Il passo successivo dovrà essere un’”autonomia responsabile”, a cui dovrà corrispondere:

una valutazione non solo prescrittiva, ma con una prevalenza di indicazione di buone pratiche, fatta di poche prescrizioni, che abbia nella flessibilità il suo scopo e nella certezza del premio e della sanzione il suo strumento forte di induzione al risultato positivo, con regole ed indicazioni legate alle diversità delle singole Aree scientifiche e dei singoli Territori in cui la formazione e ricerca incidono e si sviluppano, che tenga conto anche delle variabili legate alle differenti situazioni e modalità di espressione della scienza e di produttività e redditività immediata o dilazionata nel tempo della stessa.

Per autonomia di solito s’intende la capacità di darsi leggi proprie e d’imporsene il rispetto. Chi, infatti, non riesce a seguire le norme che si è dato da sé, perché deviato da forze esterne, cessa di essere autonomo per diventare eteronomo. Nella prosa ministeriale l’autonomia cosiddetta irresponsabile designa però uno stato di violazione della norma amministrativa che limita la spesa per il personale all’80% del finanziamento ordinario, l’autonomia cosiddetta controllata è la sottomissione dell’università a un regime “iper-normato e iper-controllato”, e l’autonomia cosiddetta responsabile sembra una specie di sintesi dialettica nella quale vigeranno norme più flessibili e variamente adattate a discipline e territori, del cui rispetto però gli enti saranno chiamati a rispondere. In nessuno di questi tre casi le università operano secondo leggi proprie: la loro condizione può essere detta autonoma solo se la parola “autonomia” viene intesa come sinonimo di una “sregolatezza” disciplinabile solo tramite l’imposizione di norme esterne. Ma se le regole a cui le università sono soggette nei loro tre tipi di “autonomia” sono esterne, la loro condizione propriamente non è di autonomia, bensì di eteronomia.

Anche nella cosiddetta autonomia responsabile la “certezza del premio e della sanzione” è possibile solo in presenza di norme esterne non del tutto flessibili né esclusivamente indicative, bensì con un nucleo imperativo e rigido, in modo tale che non vi siano margini d’arbitrio nel riconoscimento di castighi e regalie. Coerentemente, nel progetto ministeriale di autonomia eteronoma, l’unica differenza fra il regime del controllo e quello della responsabilità potrà dunque essere nel grado e non nella specie: la ricerca pubblica rimarrà soggetta alla valutazione di stato, ma verrà sottoposta a una quantità minore di regole, eventualmente adattate su base disciplinare e territoriale.

3. Il ministero dell’amore

Valditara riconosce che la valutazione di stato, indifferentemente imposta da governi di destra e di centro-sinistra,7 ha danneggiato la ricerca italiana, sottoponendola a norme che hanno ben poco a che vedere con la scienza.8 Allo stesso tempo, però, il suo documento assume che la qualità della ricerca non possa essere apprezzata informalmente dalle comunità degli studiosi, ma vada determinata da un’autorità esterna e secondo scopi diversi dall’avanzamento del sapere, quali il perseguimento di un’indeterminata competitività. Forse la sua autonomia eteronoma soggetta a un morbido e duro regime di premi e di castighi è molto più l’espressione di una dissonanza cognitiva che un consapevole espediente propagandistico.

Valditara ha contribuito a disegnare un’università nella quale i tre principi della riforma humboldtiana sono applicati a rovescio: nel sistema della valutazione di stato chi fa ricerca non è più solo, perché “iper-normato e iper-controllato” e non è più libero, perché la bibliometria lo condiziona a scegliere argomenti alla moda,9 o comunque prediletti nelle riviste delle liste sanzionate dal governo, e, soprattutto, non può essere più cooperativo, perché – immerso in una competizione bandita e giudicata da autorità amministrative e commerciali esterni – non può più sentirsi impegnato assieme agli altri per uno scopo comune in un comune spazio di discussione e di esperienza. In cambio, però, alle università italiane viene riconosciuto proprio quanto Humboldt negava loro, vale a dire un margine di discrezionalità amministrativa nelle assunzioni di professori e ricercatori.

Se, nel documento ministeriale, sostituiamo al termine “autonomia” l’espressione “discrezionalità amministrativa in materia di reclutamento” otteniamo un argomento più coerente di quello esposto dalla sua lettera: una discrezionalità irresponsabile aveva trasformato le università in stipendifici, una discrezionalità controllata ha costretto le loro amministrazioni in una gabbia burocratica, una discrezionalità responsabile lascerebbe un margine di libertà maggiore, per poi chiamare le istituzioni a rispondere non sui processi, bensì sui loro esiti. In questo impianto teorico non si può pretendere di più: il principio della competitività induce a guardare con sospetto l’autovalutazione intrinseca alla ricerca stessa, compiuta in seno a una comunità scientifica vigile e aperta, e proprio per questo consapevole che l’intento di elaborare teorie scientifiche solide non è affatto identico a quello di prevalere sugli altri.

4. Il capro espiatorio

Come prendere le distanze da una valutazione istituita con la cooperazione della propria parte politica e della cui natura dispotica e retrograda si è forse interiormente consapevoli, senza però mettere in discussione la valutazione di stato in generale?

Il documento Valditara emancipa l’Anvur, autorità amministrativa di nomina governativa i cui criteri e parametri sono oggetto di decreti ministeriali, dalla sua dipendenza dal potere esecutivo, per attribuirle la responsabilità delle “distorsioni” e dei “costi materiali e umani” dovuti alla valutazione di stato: dalla moltiplicazione di articoli inutili finalizzati esclusivamente a superare soglie quantitative, alla predisposizione di indici di riviste che recintano campi disciplinari artificiosi e sterili, all’impiego di algoritmi aleatori e spesso incomprensibili che solo accidentalmente dicono qualcosa della qualità della ricerca, fino all’enorme spreco di tempo inflitto da un coacervo di adempimenti designati in forma di acronimi. Se la valutazione di stato, anziché limitarsi, ex post, agli esiti o ai prodotti, ha insistito con invadenza sui processi, la colpa è dell’Anvur e del modo in cui è stata intesa e costruita.

L’Agenzia, per una serie di errori concettuali, in parte dovuti appunto ad una declinazione Regolamentare molto articolata e complessa rispetto alla legge istitutiva (DPR 1 febbraio 2010 n 76) ed in parte a comportamenti opportunistici atti a scaricare su un soggetto tecnico e non politico le decisioni sgradevoli di premialità e sanzione, si è trasformata nel tempo in un ente inquisitorio e burocratico sempre più legato alla valutazione dei processi (valutazione ex ante ed in itinere) piuttosto che a quella dei prodotti (valutazione ex post).

Nelle leggi 1/2009 e 240/2010 di riforma del sistema universitario e della ricerca, l’allora Governo in carica, aveva chiaramente indicato che un sistema di valutazione del prodotto era lo scopo dell’intero sistema di analisi della formazione e ricerca scientifica e della competitività e sviluppo da esse derivanti. Un OdG dell’allora sen. G. Valditara (relatore per il Governo della L 240/10) identificava, come si è anticipato, proprio nella valutazione di prodotto (ex post) il significato di tutto il sistema di valutazione.

Anche chi condivide, da tempi non sospetti, buona parte delle critiche di Valditara all’Anvur può però chiedersi se questo ordinamento inquisitorio dipenda soltanto dal particolare modo in cui si è costruita e usata l ’agenzia, e non sia invece l’esito difficilmente evitabile di una valutazione di stato fondata su criteri esterni  alla ricerca stessa, da determinare e imporre amministrativamente .

L’Anvur, a differenza del Consiglio Universitario Nazionale, non solo non viene eletta dalla comunità dei ricercatori, ma chi è al vertice della sua piramide, nominato dal governo, nomina a sua volta i valutatori disciplinari che popolano i suoi gradini inferiori, sulla base di un Führerprinzip che discende via via dall’apice fino all’ultimo dei referee anonimi da trenta euro al colpo. E in tutta la sequenza il rapporto dei nominati con l’autorevolezza scientifica, o almeno con la competenza nel campo della valutazione o con l’assenza di conflitti d’interessi, è soltanto accidentale, come scriveva, in tempi non sospetti, il sociologo Pier Paolo Giglioli nella sua lettera di rifiuto all’Anvur. Anche la divisione delle riviste in fasce gerarchiche e disciplinarmente segregate non è frutto di un abuso dell’agenzia, bensì di decisione politica imposta da decreti ministeriali: una decisione politica pensata per valutare non dei processi, bensì dei “prodotti della ricerca” – i testi – avulsi dai loro contesti di discussione e sottoposti a computi numerici variamente oscuri e contestabili .

L’ erezione dell’Anvur a – poco innocente – capro espiatorio è una mossa felice. Ha infatti indotto alcuni rettori a difenderla pubblicamente in quanto autorità indipendente in grado di produrre una “verifica affidabile, priva di logiche di arbitrarietà locali”,10 e a dar dunque involontariamente conferma a una rappresentazione altrimenti discutibile.

Valditara, includendo fra gli esiti della valutazione di stato la “deresponsabilizzazione completa del singolo e del sistema”, ha toccato un nervo scoperto. Uno studioso maggiorenne dovrebbe capire da sé se un testo è scientifico o no; e, a maggior ragione, un rettore legittimato da un’elezione libera e da un dibattito pre-elettorale franco e leale non dovrebbe aver bisogno di bollini governativi per giustificare scelte presumibilmente già discusse e apprezzate dalla maggioranza che ha votato a suo favore.

5. Un cerchio da quadrare

Alcune delle proposte di riforma del documento Valditara comportano solo un trasferimento di funzioni: di per sé, far passare la competenza sull’accreditamento dei corsi di studio e sulla definizione delle soglie per l’abilitazione scientifica nazionale dall’Anvur al Miur non cambia granché se è il padre a farsi ministro della medesima dittatura dell’algoritmo prima delegata al figlio. Altre, invece, meritano di essere classificate analiticamente, non tanto per i loro dettagli tecnici, quanto perché possono essere lette come ispirate a premesse teoriche diverse e contrastanti.

La tabella che segue contiene esclusivamente citazioni letterali del documento, in modo da ridurre la mediazione interpretativa esclusivamente a quella compiuta da selezione e tassonomia.

A B
“Occorre rivedere le modalità di composizione del comitato direttivo dell’Anvur. A questo riguardo si dovrebbe passare ad una agenzia di valutazione del sistema universitario con un CdA strategico che imposti (in accordo con il Decisore politico) le regole e gli indirizzi di gestione e che sostituisca l’attuale CD (in cui componenti diventano di fatto esclusivamente dediti alla valutazione del sistema di cui hanno fatto parte). Il CdA invece dovrebbe avere anche compiti di riflessione sul sistema di valutazione. A questo si dovrebbe aggiungere una componente Tecnico-Amministrativa che dovrebbe essere gestita da un Direttore Generale competente e che dovrebbe sviluppare le modalità di attuazione del controllo e di verifica.” “Riconoscimento dell’esclusiva competenza sulla valutazione dei singoli docenti e ricercatori e del personale accademico alle istituzioni universitarie e agli enti di ricerca, nel rispetto dell’autonomia didattica, scientifica e organizzativa riconosciuta dalla Costituzione.”
“Valutazione della ricerca dei dipartimenti in base a tutta la produzione scientifica, fatta in modo automatico (vedi ANPRePS)” Riconoscimento “dell’esclusiva competenza del docente sulla valutazione degli apprendimenti e dei comportamenti del singolo studente, quale espressione irrinunciabile e qualificante della professionalità e della libertà di insegnamento”.
“Si dovrebbero, inoltre, riformare gli organismi di consulenza sulla ricerca come il CNGR (ed il mai attivato CEPR) e di conseguenza modificare il sistema di valutazione dei progetti di ricerca (PRIN, PON ecc) anche al fine di costituire un coordinamento (Cabina di Regia) dell’allocazione delle risorse per la ricerca scientifica (vedi allegato)” “Si dovrebbe attivare l’Anagrafe dei Professori, Ricercatori e Prodotti Scientifici (ANPRePS prevista dalla legge 1/2009 e basata sulla consultazione pubblica svolta su tutti i docenti e ricercatori nel 2013-14) che con un unico strumento consentirebbe in automatico di avere tutti i dati di tutti i docenti e della loro produzione scientifica.”
“Revisione e depotenziamento degli strumenti valutativi basati su esclusivi indicatori numerici” “Introduzione di strumenti di semplificazione volti a una significativa riduzione degli adempimenti amministrativi a cui sono soggetti i professori e ricercatori .“
“Una rivista dotata di comitato scientifico internazionale è già idonea ad accreditare le pubblicazioni ospitate.” “Si deve eliminare la distinzione fra fasce di riviste.”
“Si dovrebbe imporre a tutti i docenti e ricercatori l’iscrizione obbligatoria alla banca dati dei valutatori REPRISE al fine di avere costantemente a disposizione per le varie finzioni tutti gli attori del sistema e di avvicinare tutti al sistema valutazione della ricerca.” “L’attuale sistema dei PRIN non garantisce l’imparzialità della valutazione che deve essere trasparente, fatta cioè da valutatori che siano conoscibili ed eventualmente ricusabili e che non si limitino a discrezionali giudizi sintetici senza una motivazione puntuale, coerente e chiara.”
“Un sistema di governo/coordinamento centrale del sistema ricerca dovrebbe, senza pretendere gli eccessi di competitività della ricerca e dirigismo di oltreoceano, adattare al modello italiano il modello EU, in cui la politica di governo ha da un lato la visione complessiva delle risorse finanziarie e umane disponibili e dall’altro ha il diritto e il dovere di assegnare risorse in funzione delle esigenze del sistema Paese. A titolo di esempio con una percentuale rilevante (tra il 70 e l’80%) alla ricerca strategica, che risponda alle esigenze del Paese, alle sue capacità, alle sue potenzialità e alle sue sfide sociali;” “lasciando la restante percentuale a bandi competitivi legati alla ricerca di base (curiosity driven) dalla quale, come detto, provengono le così dette grandi innovazioni ed avanzamenti scientifici e sociali.”

 

I brani della colonna B, separatamente presi, disegnano un sistema per lo più compatibile con l’articolo 33 della Costituzione, che riconosce l’autonomia della didattica e della ricerca e riduce il carico amministrativo gravante sugli studiosi, ma preoccupandosi di assicurare una legalità e trasparenza dei processi assente nel regime della valutazione anonima e degli archivi inaccessibili: perfino l’ANPRePS potrebbe essere uno strumento per questo scopo, se venisse finalmente attivata, col ricongiungimento di quanto già esiste, e fosse aperta al pubblico.

I brani della colonna A, parte del medesimo documento, disegnano un sistema della ricerca concepito come un’impresa di capitalismo di stato al servizio di scopi determinati di volta in volta dal governo, sottoposto a metodi di valutazione automatici e controllato da un consiglio d’amministrazione. Il fine, qui, è la soluzione di problemi esterni alla ricerca, individuati dal “decisore politico” e non l’edificazione di nuove prospettive e cornici concettuali o la definizione di nuovi e vecchi oggetti di conoscenza.11 Questa tecnologia di stato,12 che concede alla ricerca di base uno spazio ridotto, non superiore al 30% del finanziamento complessivo, cerca la sua legittimazione nelle politiche europee della conoscenza e ne condivide i limiti.13 Essa, inoltre, essendo al servizio di utilità definite dal governo, è esposta al rischio di delegittimare sia se stessa sia lo stato,14 proprio perché la sua valutazione è affidata a un consiglio d’amministrazione le cui mire sono in primo luogo politico-economiche mentre l’interesse per il sapere è trattato come una “curiosità” da confinarsi in un ristretto recinto.

Il documento Valditara è dissonante perché non si ispira esclusivamente all’ideale della scienza di stato (A), bensì contiene anche significativi riconoscimenti (B) di un modello più antico, fondato sull’autonomia della ricerca. Ma proprio questa sua incoerenza – non si sa se dovuta a dissimulazione propagandistica o a un principio di palinodia – lo rende politicamente interessante e meritevole di essere preso sul serio.15

Tags:

Accessi: 1015

Cinquanta sfumature di giallo: le società scientifiche ai tempi della valutazione di stato

Quella che segue è una lettera che ho inviato alla mailing list interna della Società Italiana di Filosofia Politica, in seno al dibattito per l’elezione del nuovo presidente. Il testo non tratta propriamente di persone, ma si interroga sulla funzione delle società scientifiche ai tempi della valutazione di stato. Proprio per questo, fin dall’inizio, non conteneva nomi; e proprio per questo ho deciso di renderla pubblica così come è stata scritta, eliminando il poco che sarebbe risultato incomprensibile perché riferito al dibattito interno e correggendo un paio di errori di battitura.

Cari colleghi,

ho a suo tempo imparato che i voti della SIFP non sono da prendere sul serio, dopo che questa vecchia proposta, che era stata approvata dall’assemblea all’unanimità, è stata semplicemente messa da parte dalla giunta con la motivazione il ministero stava facendo qualcosa – un qualcosa che non mi risultava affatto, né è effettivamente risultato in futuro.

Mi limito quindi a dire che non posso sostenere nessuno dei due candidati, a dispetto della loro ineccepibile carriera accademica. La mia carriera è invece ministerialmente eccepibile sia perché boicotto le riviste di fascia A – che sono tali perché incluse in una lista stilata da autorità di indiretta nomina amministrativa, spesso pure in conflitto di interessi – e non voglio piegarmi all’idea che il contenitore di un testo determini il valore del suo contenuto, sia perché non sono stata gran che nemmeno come commissaria ASN, avendo avuto la sfortuna di essere sorteggiata mentre credevo di essere sotto soglia a causa dei miei boicottaggi.

Però non posso fare a meno di comunicarvi il mio disagio di fronte alla commistione, negli argomenti sulla candidabilità di questa o di quello, di generici appelli al loro valore scientifico e alla loro esperienza istituzionale. Qui, fra questa e quello, c’è in verità una piccola differenza: la prima è stata nominata da un’autorità governativa che procede secondo il Führerprinzip, e che non solo per me è profondamente incostituzionale, e il secondo è stato parte di un organo elettivo ora quasi esautorato. Cito dall’articolo di cui sopra:

Carla Barbati ha parlato del ruolo delle società scientifiche nelle procedure valutative. La Presidente del CUN ha evidenziato che fino ad oggi è l’ANVUR che seleziona i componenti delle comunità scientifiche legittimati a effettuare valutazioni sia nell’ambito dei GEV sia in quello del Gruppo Libri e Riviste. La prof.ssa Barbati ha raccontato di come l’ANVUR rifiuti di considerare l’elettività di queste cariche da parte della comunità scientifica un modello decisionale virtuoso. Ha concluso sostenendo che se le società scientifiche non riescono a far sentire la propria voce e a reclamare un ruolo, il vuoto viene colmato dalle decisioni dell’ANVUR.

Non mi sembra di aver mai sentito il secondo – mi corregga se sbaglio – prendere una qualche posizione pubblica netta sulla valutazione di stato.

Come sicuramente saprete, l’ANVUR parla con chi vuole e dialoga con le società scientifiche solo per suo concessione. Nel caso della SIFP, più che un dialogo si è avuta spesso un’identità: la penultima presidente era membro del cosiddetto GEV, l’attuale presidente si è sempre professato neutrale – e quindi ininfluente – e ora una dei candidati ha coordinato il GEV. Le stesse persone che facevano parte del GEV, data l’esiguità dei docenti della nostra disciplina, sono state spesso anche parte delle commissioni ASN. Per non parlare della loro presenza negli organi delle riviste di classe A, per la quale rinvio allo studio che avevo fatto a suo tempo con Brunella Casalini. È “pluralismo”, questo, o, piuttosto, in un’epoca di ferocissimi tagli alla finanze e alle libertà accademiche, un “si salvi chi può”, nell’illusione che il “particulare” possa restare a galla mentre l’universale cola a picco?

Come commissaria ASN, cercando, nei limiti del possibile, di leggere i titoli presentati, mi sono resa conto che gli effetti di questo “pluralismo” sono i seguenti: una volta che è noto dove un candidato ha studiato è possibile prevedere non solo che cosa scriverà, ma anche come lo scriverà. Se si dovesse prendere alla lettera il requisito dell’originalità non si dovrebbe abilitare quasi nessuno. E, naturalmente, è assai più facile essere idonei all’abilitazione, almeno in termini di volume di pubblicazioni., se si è benedetti dall’appartenenza a uno dei gruppi i cui caposcuola praticano una scienza ministeriale, avendo fatto una scelta diversa da quella del sociologo Pier Paolo Giglioli e fanno pubblicare su riviste di classe A. Incidentalmente, il sistema di valorizzare il contenitore a scapito del contenuto – a proposito di “internazionalizzazione” – isolerà sempre più l’Italia in Europa e nel mondo. Qui racconto quello che ho sentito con i miei orecchi a Berlino, essendo invitata alla conferenza come rappresentante dell’AISA.

Come sapete trovo controproducente chiedere che questa o quella rivista sia assunta nella lista, se non per provocazione allo scopo di discuterne poi nella sede appropriata – che non è quella amministrativa -, quando si dovrebbe contestare il principio stesso della lista: le virtù amministrative del contenitore non si trasmettono, infatti, alle eventuali virtù scientifiche del contenuto e l’unica “collocazione editoriale” scientificamente rilevante è quella che permette l’accessibilità dei testi sia in lettura sia in scrittura. Andare dall’ANVUR o dal suo genitore, il MIUR, col cappello in mano a chiedere mercé significa legittimare, tramite il riconoscimento del principio delle liste con i suoi effetti oligopolistici e oligarchici,  una valutazione di stato intrinsecamente dispotica e retrograda.

Le società scientifiche, rinate in età moderna per scopi diversi da quelli ora prevalenti, sono attualmente ridotte a poco più di un sindacato per la rivendicazione degli interessi di discipline – o di alcuni dei docenti che le professano – i cui confini sono amministrativamente definiti. Qual è il colore di questo sindacato? A me sembra che non si vada oltre un certo numero di sfumature di giallo.

Per questo, al momento, non sentendomi rappresentata da nessuno neppure per quel minimo sindacale che dovrebbe essere la difesa dei miei diritti costituzionali, nessuno posso sostenere.

Buon anno, buona notte e buona fortuna.

Tags:

Accessi: 270

Una scienza senza qualità

DOI

1. Quantità e qualità: un confronto impossibile?

Enrico Mauro, in un articolo recente, critica così la valutazione quantitativa della ricerca ispirata ai princìpi del new public management :

Come parlare di qualità senza ridurla a quantità, senza numerizzarla per poterla quindi comparare e classificare? Come, in altri termini, evitare il paradosso di pesare «l’imponderabile della qualità»? La risposta di Jankélévitch appare tanto truistica da una data prospettiva quanto inconcepibile dalla prospettiva opposta: «la qualità si spiega con la qualità, si giustifica qualitativamente, così come l’amore immotivato che, girando nel cerchio della sua tautologia incondizionale, rifiuta di rendere conto e di rispondere Poiché ai Perché»1

 Je ne sais quoiProprio questo non so che, scrive Mauro, contraddistingue il lavoro del ricercatore in quanto “percorre l’inesplorato [e] non può garantire risultati decisivi, tanto meno su temi e in tempi e forme decisi a tavolino”. 2

Il funzionario che valuta la ricerca per via amministrativa adotta però criteri generali e dall’apparenza oggettiva, sia perché non può avere competenze specifiche su ciascuno degli oggetti da valutare, sia perché non può confrontarsi radicalmente con l’individualità essendo, in virtù della sua stessa funzione,3 animato da passioni ben diverse dall’amore immotivato. Può, anzi, addurre buone ragioni per rappresentare una simile tesi come mistica, elitistica ed esposta ad abusi, in quanto programmaticamente incapace di spiegarsi ai non iniziati: “molti sono i portatori di ferula, pochi gli estatici”.4

La bibliometria, vale a dire un più o meno sofisticato computo delle citazioni e delle pubblicazioni, è per il funzionario un controllo di qualità molto più chiaro ed efficace. Non è forse vero che le citazioni sono la moneta della scienza, con la quale i ricercatori riconoscono e pagano il loro debito verso le opere altrui?

L’efficienza complessiva di un simile controllo di qualità consentirà anche di minimizzare l’entità dei suoi fallimenti sia verso il basso, quando, operando come incentivo perverso, si presta a manipolazioni e frodi5 sia verso l’alto, quando induce a disconoscere il valore di contributi rilevanti ma con indici bibliometrici non particolarmente notevoli.6 A chi li contesta, il funzionario risponde ammettendo che esistono, ma che il loro numero è talmente esiguo da renderli irrilevanti: si tratta, in altri termini, di casi d’importanza meramente “aneddotica”.

2. Dalla parte della quantità

I. L’argomento dell’irrilevanza, quando è volto a minimizzare i fallimenti verso il basso dei metodi numerici di valutazione della ricerca, assume  una forma simile a questa:

…trovo piuttosto inutili la maggior parte delle argomentazioni sulla possibilità di manipolazione di informazioni bibliometriche quali il fattore d’impatto. La scienza stessa è manipolabile. Ci sono numerosi esempi di false scoperte o di comportamenti scorretti da parte degli scienziati. Ma la questione davvero interessante non è perché questo accade, ma come mai accada così raramente e così da essere quasi immancabilmente scoperto e punito.7

Sessantun’anni fa il sociologo della scienza Robert K. Merton sosteneva qualcosa di simile, ma con uno spirito diverso e in un mondo che ancora non conosceva l‘Institute for Scientific information, con il suo database proprietario e il suo fattore d’impatto, né l’uso della bibliometria per la valutazione della ricerca, di stato e no. In ogni caso, senza dilungarsi in considerazioni retrospettive, il primo lato dell’argomento dell’irrilevanza può essere riassunto così: la bibliometria, di stato e no, fotografa un sistema editoriale trasparente e competitivo di controllo della qualità che riduce al minimo le manipolazioni e gli abusi.

II. Quando invece l’argomento dell’irrilevanza affronta i fallimenti verso l’alto, il funzionario lo svolgerà così: la bibliometria può essere inadeguata a individuare i ricercatori veramente rivoluzionari, ma non è disegnata per questo, bensì per valutare, nel breve termine, i medi e i mediocri, inducendoli a un’operosità a cui altrimenti  sarebbero alieni.  Nel lungo termine le idee rivoluzionarie dei Giordano Bruno o dei Galileo Galilei si affermeranno indipendentemente dai giudizi dell’autorità. E se i Bruno e i Galilei fossero vivi oggi, ai tempi della valutazione di stato, avrebbero la consolazione di rimanere nel grado più basso della carriera accademica senza finire al rogo o essere costretti all’abiura.

Quando la scienza è prodotta su scala industriale, occorre essere industriali anche nel controllo di qualità. Se il metodo di controllo assicura un buon livello medio della produzione complessiva, i falsi positivi che saranno scartati e sostituiti e i falsi negativi che verranno riconosciuti solo nel lungo termine sono compresi in un margine d’errore del tutto accettabile entro un sistema generalmente efficiente.

3. Pezzi unici

Chi non desidera invischiarsi nel paradosso del sorite,8 deve resistere alla tentazione di rispondere elencando l’ormai ricca letteratura dedicata alle distorsioni prodotte dalla bibliometria.  Quanti casi di falsi positivi e di falsi negativi si dovrebbero indicare perché i funzionari riconoscano che le distorsioni apportate da un uso inappropriato della bibliometria non sono mera “aneddotica”? Sempre uno in più…

Vale la pena tentare una strategia di risposta diversa, che non si basi su molti casi, ma ne adduca uno soltanto a modello. Il caso selezionato a questo fine è quello di una semplice informazione enciclopedica sottoposta al controllo permanente di una forma di revisione paritaria aperta e comunitaria.

Gli articoli delle riviste pubblicate dall’editore commerciale Franco Angeli sono dotati di un DOI (Digital Object Identifier) che, sul suo sito, è illustrato così.

Il DOI è il codice a barre della proprietà intellettuale: per saperne di più, clicca qui e qui.

Chi legge questa definizione è indotto a pensare che il sistema del DOI sia un succedaneo digitale del vecchio registro della Stationers’ Company, che elencava le esclusive di stampa di ciascun libro riconosciute ai suoi membri. Il sito ISO, però, ne dà una definizione ben diversa: il DOI è un’infrastruttura per l’identificazione persistente e univoca di oggetti di qualsiasi tipo. Ed è vero – afferma il  DOI Handbook –  che il sistema del DOI si concentra sull’amministrazione di entità a cui è connesso l’interesse della “proprietà” intellettuale, ma nulla vieta di chiedere e ottenere un DOI per qualsiasi altro oggetto che stia a cuore a una comunità di utenti.

L’editore italiano non sta facendo consapevolmente disinformazione. La sua definizione, riportata anche sulla Wikipedia italiana prima che venisse corretta,  è infatti tratta dalle pagine di mEDRA, l’agenzia europea di registrazione del DOI. Le voci corrispondenti della Wikipedia francese, tedesca, inglese e spagnola, non usando mEDRA come fonte, non cadono invece nell’equivoco.

Per correggere l’inesattezza presente nella Wikipedia italiana non è stato  necessario fare una ricerca originale: è stato sufficiente risalire da mEDRA al sito ISO e a quello della fondazione internazionale a cui fanno capo tutte le agenzie di registrazione del DOI. Ma, fuori dal controllo comunitario di Wikipedia, una definizione fuorviante continua a essere presente sul sito mEDRA e, a cascata, sul sito di un  frequentato editore scientifico commerciale e  anche nelle menti di tutti i ricercatori che distrattamente la leggono. Un pezzo difettoso, anche se scartato dove è stato possibile farlo, ha prodotto e continua a produrre una disinformazione estesa e durevole.

E non è solo e in primo luogo un problema di Wikipedia: il caso Wakefield, con i suoi morti evitabili, ha mostrato che anche il controllo di qualità delle riviste di alto impatto è soggetto a fallimenti i cui effetti sono estesi e durevoli.

Non importa, cioè, quante centinaia o migliaia di pagine di Wikipedia contengano informazioni accurate: la pagina sul DOI, finché non è stata corretta, dava, sul Digital object identifier, una definizione fuorviante che ha contribuito a diffondere degli errori persistenti. Né importa che The Lancet, dopo 12 anni, abbia ritirato l’articolo di Wakefield sul nesso fra vaccino MPR e autismo. La stessa reputazione di The Lancet, anzi, ha contribuito alla diffusione e alla persistenza di una teoria fin dall’inizio poco fondata.9

Gli utenti avvertiti di Wikipedia sanno che nessuna delle sue voci è definitiva e tutte sono continuamente soggette a revisione, che anzi, almeno in linea di principio, potrebbero essi stessi modificarle. I lettori di The Lancet sono invece indotti a credere che l’altissimo fattore d’impatto della rivista edita da Elsevier trasferisca l’eccellenza dal contenitore al contenuto, cioè dalla rivista agli articoli che pubblica: mentre la voce di Wikipedia è per definizione parte di un processo su cui non è ancora stata detta l’ultima parola, gli articoli di The Lancet, in un sistema di valutazione basato sulla bibliometria, non sono l’inizio, bensì il compimento di un procedura altamente selettiva.

Quanti fallimenti occorre addurre per dimostrare che non si tratta più di  “aneddotica”? Uno, o, meglio, uno per volta: le teorie scientifiche – così come le voci enciclopediche – non sono oggetti fungibili. La voce fuorviante di Wikipedia sul DOI non può essere rimpiazzata da una delle sue molte voci accurate di argomento botanico: occorre che qualcuno, artigianalmente, si dia la pena di consultare le fonti pertinenti, di inserire la correzione e di offrirne una giustificazione che convinca gli altri wikipediani. I processi enciclopedici – e a maggior ragione quelli scientifici – sono molto diversi dalla produzione di massa di oggetti intercambiabili, per la quale si può dire che il controllo di qualità funziona ottimamente se un prodotto su 10.000 risulta difettoso e obbliga a risarcire un solo cliente insoddisfatto su 10.000. Qui abbiamo a che fare con pezzi unici, che possono essere valutati solo caso per caso e ai cui difetti non può essere posto rimedio, come faremmo con un pezzo fallato uscito da una catena di montaggio, rimpiazzandolo con un altro pezzo identico.

Non c’è dunque nulla di mistico nel “non so che”. In effetti sappiamo benissimo che cos’è, ma solo di volta in volta, artigianalmente, e non una volta per tutte, in massa. Questa, in un guscio di noce, è la discrasia10 che rende difficile immaginare un sistema di valutazione della ricerca che sia adeguato alle dimensioni industriali della scienza e, allo stesso tempo, in grado di rendere giustizia all’individualità di ciascuna attività di ricerca – compresa quella solo compilativa alla base della correzione di poche righe in una voce di Wikipedia.

 

Tags:

Accessi: 623

Valutazione di stato e libertà della ricerca: una riflessione filosofico-giuridica

Particolare della Scuola di Atene di RaffaelloLa revisione paritaria (peer review) è una parte importante della procedura che conduce alla pubblicazione di un articolo in una rivista scientifica tradizionale, costruita e pensata per la tecnologia della stampa. A due o più studiosi di campi disciplinarmente pertinenti, selezionati discrezionalmente dalla redazione della rivista e protetti dall’anonimato, viene chiesto di pronunciarsi ex ante sulla pubblicabilità di un articolo. Quanto i revisori scartano non vede la luce; e, analogamente, rimangono nell’ombra i loro pareri e la loro eventuale conversazione con gli autori, che ha luogo solo per interposta persona. La revisione paritaria aperta ed ex post consente invece di rendere pubblica l’intera discussione e di riconoscere il merito dei revisori, i quali, come gli autori, rinunciano all’anonimato.
In questo spirito, il Bollettino telematico di filosofia politica propone due articoli:

Il primo testo critica la tesi esposta da Andrea Bonaccorsi nel recente La valutazione possibile. Teoria e pratica nel mondo della ricerca, Il Mulino, 2015, condensabile nella seguente affermazione: la valutazione è espressione degli imperativi istituzionali della scienza così come teorizzati da R.K. Merton. Per Roberto Caso, l’autore legge l’opera mertoniana in modo distorto e parziale e trascura la dimensione giuridica del rapporto tra norme formali poste dallo Stato nel processo valutativo e regole informali della scienza: è difficile trasformare quanto in Merton era l’ethos condiviso di una comunità scientifica autonoma in norme di diritto amministrativo senza alterarne profondamente la natura.  Infatti, il disegno della valutazione che Bonaccorsi rappresenta  come democratico, dialogico, condiviso e trasparente collide frontalmente con la prassi italiana dell’ANVUR, motore immobile di orrori giuridici nonché di un gigantesco contenzioso che consegna la vera e ultima valutazione ai giudici.

Il secondo testo si interroga sulle radici filosofiche di questi orrori. Per distinguere la riflessione della ragione teoretica e pratica dagli elementi empirici, prende le mosse da una concessione: fa finta  che il sistema di valutazione teorizzato da Bonaccorsi sia una fotografia – mertonianamente – fedele del modo in cui la comunità scientifica valuta se stessa. Ma, perfino con questa assunzione, la sua costruzione ha come esito un sistema di valutazione praticamente dispotico e teoreticamente retrogrado. Il sistema è dispotico perché trasforma un ethos informale e storico in una norma di diritto amministrativo fissa, che cessa di essere oggetto di scelta da parte della comunità scientifica; ed è retrogrado perché, stabilendo questa norma, cristallizza, come nel castello incantato della Bella addormentata nel bosco, l’evoluzione in un fermo-immagine non più superabile senza ulteriori interventi amministrativi. A questo argomento principale si aggiungono alcune parti accessorie: la prima si occupa della questione, proposta da Bonaccorsi, della verificabilità empirica di alcune tesi dei suoi critici; la seconda prende in esame un campione di citazioni addotte dall’autore a sostegno di alcuni passaggi argomentativi importanti.

Entrambi i contributi sono ispirati dalla prospettiva ideale e critica della scienza aperta, che è già in grado di orientare, perfino con gli strumenti attualmente esistenti, un sistema di valutazione più conforme al principio costituzionale della libertà  delle arti, delle scienze e del loro insegnamento.

Le istruzioni per chi desidera partecipare alla revisione paritaria aperta si trovano qui.

È ora possibile commentare entrambi gli articoli anche su SJScience.org, qui e qui.

DOI

DOI

Tags:

Accessi: 1179

Classificazione delle riviste: un breve confronto fra l’ANVUR e la Directory of Open Access Journals

DOI

La Cassazione a Sezioni Unite, con una recentissima sentenza (Cass., sez. un., 28 febbraio 2017, n. 5058), analizzata su “Roars“, a conferma di quanto già stabilito dal Consiglio di Stato, indica con chiarezza qual è il vizio giuridico delle classificazioni ANVUR:

la mancata predeterminazione di criteri ex ante da porre a fondamento delle determinazioni dell’amministrazione.

In altre parole, le decisioni classificatorie dell’ANVUR in merito alle riviste, a dispetto dell’importanza che hanno per la valutazione della ricerca e l’accesso all’abilitazione scientifica nazionale, sono, eufemisticamente, arbitrarie. Per essere più chiari – si tratta pur sempre di deliberazioni amministrative in uno stato che vorrebbe essere di diritto – possiamo anche dire: le decisioni classificatorie dell’ANVUR sono, francamente,  dispotiche.

Immagine: bilancia della giustiziaIl DOAJ, da parte sua, pur non essendo un indice stilato da un’autorità amministrativa e non danneggiando chi preferisce percorrere altre strade, predetermina i suoi criteri ex ante. Qui, per esempio, uno dei redattori italiani del DOAJ li spiega in modo chiaro e dettagliato. Anche se non si tratta di un giudizio, chi fa domanda d’inclusione sa con quale metro la sua rivista verrà misurata.

Il DOAJ è debole, perché tiene in mano solo una bilancia mentre l’ANVUR è armata della spada del potere amministrativo. Chi ha l’onore di contribuirvi come redattore volontario sa che, per quanto i criteri siano stati affinati nel tempo, non potranno mai interamente catturare, nel bene e nel male, le molte cose in cielo e in terra che non riusciamo a sognare con  la nostra filosofia. Ma proprio questo è il suo pregio: il suo tentativo di costruire e di argomentare collettivamente una catalogazione di una parte del mondo della comunicazione scientifica non può diventare dispotico. A sostenerlo, infatti, c’è la debolezza di una bilancia e non la forza di una spada che fatica, a quanto pare, a contenersi  nei limiti del diritto.

Tags:

Accessi: 572

“Sono i [meta]dati, stupido”: perché Elsevier ha comprato SSRN

Queen Mary’s Psalter, Wikimedia commons A riprova di quanto sia pericoloso confondere un social medium accademico proprietario, ancorché relativamente accessibile, con un archivio ad accesso aperto, vale il recentissimo annuncio dell’acquisto di SSRN da parte della multinazionale dell’editoria scientifica Elsevier.  Anche se molti autori temono che i testi da loro depositati vengano resi meno accessibili, il rischio più serio non è questo. Elsevier, infatti, grazie a SSRN, e alla possibilità di connetterlo a Mendeley, di cui si era già impadronita in precedenza, metterà le mani su un’enorme quantità di metadati.
Come spiega Christopher M. Kelty in It’s the Data, Stupid: What Elsevier’s purchase of SSRN also means, SSRN in realtà non dispone di metadati particolarmente sofisticati: il numero degli autori, il numero di articoli per autore, il numero di scaricamenti e il numero di citazioni per articolo. Queste cifre, tuttavia, sono preziose perché vengono da un grande archivio accessibile, anche se non propriamente ad accesso aperto, e interdisciplinare, non connesso a nessuna aggregazione editoriale e a nessun sistema di metrica proprietario. La sua prospettiva, dunque, è molto più ampia di quella accessibile non soltanto a una singola riviste, ma anche a un singolo editore, per quanto grande possa essere.
Quindi: se le burocrazie accademiche e gli studiosi stessi continueranno a valutare e far valutare la loro ricerca con statistiche d’impatto, Elsevier potrà aiutarli a farlo – presumibilmente non a titolo gratuito.
Kelty suggerisce che il comunicato stampa di Elsevier:

Elsevier is actively linking data and analytics to its vast content base in ways no other potential SSRN partner can match. By connecting Mendeley, Scopus, ScienceDirect and its editorial systems, they’re helping researchers get a more complete picture of their research landscape. Institutions will also benefit with a better view of their researchers’ impact [corsivi miei].

debba essere tradotto così:

  • “helping researchers get a more complete picture” significa: “saremo in grado di produrre statistiche d’impatto applicabili al singolo ricercatore”;
  • “Institutions will also benefit” significa: “per queste statistiche le università saranno disposte a pagare un sacco di soldi”.

I metadati di SSRN erano già proprietari; con il suo acquisto si aggregheranno ad altri metadati entro un più ampio e pervasivo sistema editoriale proprietario, che, con tutta probabilità, pianifica di spostarsi dalla contestata e vulnerabile pubblicazione ad accesso chiuso a forme più avanzate di feudalesimo digitale.   Chi li comprerà accetterà, ancora una volta, che alla formazione dei criteri di valutazione della ricerca contribuiscano oligopoli il cui interesse è molto lontano da quello della scienza. Il mondo accademico che ci siamo costruiti, scrive Kelty, è un mondo in cui “un gran quantità di giudizi su qualità, reclutamento, avanzamento di carriera, conferimento di cattedre e premi è decisa da metriche poco trasparenti offerte da aziende a scopo di lucro.”

Ci va bene così? Se sì, possiamo lasciare i nostri articoli su SSRN avendo probabilmente poco da temere per la loro accessibilità. Se no, non è difficile spostarli  su un vero archivio ad accesso aperto.  Basta farlo.

Tags:

Accessi: 943

image_print