Category Archives: Valutazione della ricerca

Antoine Blanchard, Il buon ricercatore

Il ricercatore buono pubblica; il ricercatore cattivo pure.

Sorbonne

La bibliometria è l’insieme dei metodi e delle tecniche quantitative – di natura matematico-statistica – ausiliarie alla gestione delle biblioteche e di tutte le organizzazioni che trattano grandi quantità d’informazione.  Può essere usata per razionalizzare gli acquisti librari – con risorse limitate il bibliotecario deve selezionare quanto è più probabile gli venga chiesto dagli utenti – o, meno umilmente, per valutare la ricerca. Ben si capisce che i bibliotecari debbano considerare grandi quantità di testi senza poterli leggere tutti; meno chiaro, però, è perché la nostra ricerca andrebbe valutata senza leggere quello che scriviamo.

La Francia, che ha già affrontato l’esperienza della valutazione della ricerca, è un termine di confronto utile. In particolare, l’articolo Qu’est-ce qu’un bon chercheur?, pubblicato nel blog di Antoine Blanchard La science, la cité, è un buon punto di partenza, con la sua questione solo apparentemente semplice: che s’intende per “buon ricercatore”?

0. Prima della bibliometria il buon ricercatore era uno riconosciuto come tale dai suoi pari. Perché questa definizione rimanesse credibile, però, occorrerebbero pari perfettamente informati sulla ricerca di tutti gli altri, il cui giudizio non fosse influenzabile da altre considerazioni – dall’antipatia personale alle questioni concorsuali. Quanto era forse vagamente praticabile entro piccole comunità di conoscenza non lo può più essere in un mondo in cui la ricerca è iperspecializzata e l’informazione sovrabbondante. La rete – è vero – può costruire reputazioni e offrire strumenti efficienti per il fact-checking. Però, specialmente se la ricerca è innovativa, questa specie di chiara fama arriva, come la nottola di Minerva, soltanto sul far del crepuscolo, dunque troppo tardi per chi desidera valutarci di buon’ora, quando le carriere accademiche muovono i primi passi.

1. Il buon ricercatore è uno che pubblica molto. Il criterio, discriminante nel mondo della stampa, non lo più oggi. Inoltre, nei settori disciplinari in cui si usano articoli a firma collettiva, per chi è in alto nella gerarchia accademica è talvolta molto facile “pubblicare” lavori fatti e scritti interamente da altri.

2. La bibliometria nel suo uso scientometrico suggerisce che il buon ricercatore sia uno che è molto citato: la moneta della scienza, però, può rimanere libera da pratiche speculative solo se il suo conteggio non viene usato a scopi valutativi. E, in ogni caso, sono molto citate sia le grandi scoperte sia i celebri errori.  Né è decisivo selezionare un database composto da citanti eletti e presunti competenti senza ereditare i pregiudizi con cui è stato formato e – spesso inconsapevolmente – anche gli interessi commerciali  che l’ispirano.

3. Con più sofisticatezza, tramite l’indice h, possiamo combinare le due definizioni precedenti: il buon ricercatore è uno che pubblica molto ed è molto citato. Questo criterio fa ingiustizia ad autori di genio, come Wittgenstein, che, pur avendo pubblicato pochissimo, sono molto citati. Però. per un fenomeno noto ai sociologi come effetto San Matteo, è più facile ricevere la sessantesima citazione se si è citati 59 volte, che ottenere l’undicesima se si è citati 10. Se pesiamo ciascuna citazione di un testo con una frazione 1/n, ove n è il numero d’ordine della citazione, otterremo che la prima citazione vale 1 e le altre via via decrescendo con l’aumentare del denominatore. Se calcoliamo il valore di un articolo sommando gli 1/n delle sue citazioni otterremo una serie armonica divergente: il valore delle citazioni cresce sempre più lentamente, ma la loro somma aumenta con continuità, rendendo le cifre ottenute per i vari ricercatori comunque comparabili. Un simile calcolo, che tiene conto dell’effetto San Matteo,  mostra – controintuitivamente – che il ricercatore con 10 lavori citati 10 volte “vale” di più di quello con tre opere citate 60 volte. Se i due ipotetici ricercatori fossero scienziati umani e sociali, il primo profilo corrisponderebbe a quello di un fondista della ricerca, il secondo a quello di un velocista o di una academic star. Nelle gare di atletica, i velocisti sono più popolari dei fondisti: ma questo è un motivo sufficiente a farci credere che siano anche migliori e indurci a finanziare gli uni ma non gli altri?

4. L’ultima ipotesi, post-bibliometrica, è la più elusiva: il buon ricercatore è uno che non fa come gli altri. Quando guardiamo alla storia della scienza questa definizione si applica ottimamente ai grandi innovatori. Senza il senno del poi, però, ci lascia in imbarazzo, perché non si può ridurre a una formula scientometrica: anche il tentativo di misurare lo spirito innovativo contando i premi Nobel si compie pur sempre ex post.

Platone, nel Politico, scriveva che, in una situazione ideale, quando ci siano politici dotati di scienza, è preferibile un governo senza leggi. La legge è come un essere umano ignorante e ostinato il quale non permette che si trasgrediscano i suoi ordini e non accetta che gli si facciano domande, neppure se a qualcuno è venuta in mente una cosa nuova e migliore rispetto al suo logos (294c). La legge è un prodotto del sapere umano, che però sembra pretendere di valere per sempre, anche se il nostro sapere, in quanto storico e finito, non può mai intendere se stesso come definitivo. Nel mondo politico, dove la scienza è quasi sempre assente, le leggi sono invece indispensabili, pur nella loro grossolanità. La critica di Platone alle regole, applicata alla politica, sembra filotirannica ed elusiva; ma, applicata alla scienza, s’adatta perfettamente alla definizione post-bibliometrica di Blanchard e al suo esito: un appello per il pluralismo e la diversità della ricerca.

Sgradevolmente, però, se non c’è un algoritmo per distinguere l’innovatore dal pazzo, una società che desideri davvero finanziare la ricerca deve rassegnarsi al rischio di buttare via i soldi o, più elegantemente, di fare scommesse che possono risultare vincenti o perdenti. Una ricerca senza libertà, soggetta a una norma preconfezionata – sia essa il razzismo dei totalitarismi del Novecento o l’estensione pedissequa del modello aziendale alle università – è destinata a perdere se stessa nella sua capacità d’innovazione e di critica. Nell’ordine degli uomini, ottimi argomenti militano a favore del governo delle leggi; nell’ordine delle idee imporre regole di valutazione rigide è semplicemente fascismo.

Tags:

Accessi: 991

Le riviste di scienze politiche: una soluzione onorevole

In seguito alla riunione della Società italiana di filosofia politica, e su sua richiesta, ho rielaborato la bozza di soluzione del problema delle riviste presentata all’assemblea straordinaria del 19 maggio. Il nuovo progetto, che sviluppa un’idea della Società Italiana di Filosofia Teoretica,  è a disposizione di tutti qui. E’ pubblico sia perché chiunque possa trarne profitto, sia per uno spirito di trasparenza che, di questi tempi, sembrerebbe oltremodo necessario.

Tags:

Accessi: 581

La moneta della scienza: Trasimaco e gli indici bibliometrici

Nel primo libro della Repubblica di Platone il sofista Trasimaco sostiene due tesi famose, una politica e l’altra morale: per chi l’impone la giustizia è l’utile del più forte; per chi la pratica un bene altrui.  Il sapere della scienza politica, che impiega il concetto di giustizia, serve per l’utile di chi, essendo al potere, ne è dotato per definizione, e non per quello delle comunità umane di cui si occupa.

Socrate cerca di dimostrargli che, in una scienza, una cosa sono gli effetti e le motivazioni di chi l’esercita e un’altra il suo oggetto e le sue ragioni interne. Il pilota, andando per mare, migliora la sua salute, ma non per questo diventa medico. Il medico guadagna il suo onorario, ma non per questo diventa un esperto dell’arte di farsi pagare o misthotiké. Una cosa è saper fare il medico o il pilota, un’altra essere esperti di marketing. La gente si rivolge al medico o al pilota non in primo luogo perché sono bravi a farsi pagare, ma perché le loro competenze procurano dei vantaggi; tanto è vero che le capacità per le quali il medico e il pilota sono richiesti non verrebbero sminuite se decidessero di  lavorare gratis. Il guadagno che la pratica di una disciplina arreca a chi l’esercita le è esterno e non può definirla (345e ss) – né, tanto meno, valutarla.

Trasimaco è un sofista: come tale, trae il suo prestigio sociale e il suo reddito dalla sua competenza. Per questo si vergogna fino ad arrossire quando Socrate gli fa notare che, se uno scienziato cerca di schiacciare il suo interlocutore anche quando, secondo i princìpi della sua disciplina, questi ha ragione, si comporta come un ignorante e non come un esperto. La volontà di prevalere può essere una componente importante delle scelte dello studioso, ma non può entrare nella discussione scientifica senza soffocarla. Il sofista può teorizzare la competizione ma non può essere coerentemente un ricercatore da competizione. In una discussione scientifica fatta seriamente – Socrate l’aveva capito benissimo – si può vincere anche perdendo.

Quentin Massys, CambiavaluteChi vuol valutare la ricerca contando le citazioni pensa che la competizione nel gioco degli indici bibliometrici sia indispensabile per stimolare i ricercatori alla produttività: tratta, dunque, le ragioni interne alla scienza come inessenziali e assume come motivante un criterio esterno. In questa prospettiva, direbbe Trasimaco, la ricerca è l’arte di farsi pubblicare su certe riviste sedicenti eccellenti e di ottenere citazioni. Realisticamente non dovrebbero scandalizzare le pratiche di manipolazione e di pressione volte ad aumentare i propri indici bibliometrici. Se il valore di un ricercatore o di una rivista non è interno alla ricerca e ai contenuti che pubblica, è ben comprensibile che ricercatori e riviste si comportino da massimizzatori razionali di citazioni, con espedienti che hanno poco a che fare con l’ethos della scienza.

Trasimaco, che era entrato nella conversazione del primo libro con una scena d’effetto, forse autopromozionale, alla fine capisce che un esperto che sa esclusivamente autopromuoversi è soltanto un esperto di autopromozioni, e arrossisce: il comportamento strategico di chi vuole prevaricare non è identico a quello di chi cerca un sapere solido, perfino con lo scopo sofistico di venderlo sul mercato. Ma forse dovrebbe arrossire altrettanto chi ha talmente disconosciuto i valori interni della ricerca da non rendersi conto che le citazioni possono rimanere la moneta della scienza soltanto se non sono la moneta di nient’altro.

Tags:

Accessi: 1216

Pier Paolo Giglioli: lettera di rifiuto all’Anvur

E’ appena stata resa pubblica su Roars, qui. Chi, per avventura, non conoscesse il suo autore può farsi un’idea di chi sia a partire da qui.

Il testo è circolato in via informale ed è probabilmente già noto a chi appartiene alla comunità accademica. Chi però non l’avesse ancora letto è invitato a farlo – non solo per la serietà dei suoi argomenti, ma anche per la sua straordinaria efficacia retorica.

Tags:

Accessi: 760

Riviste all’Indice. La controriforma dell’Anvur

Ho scelto di inviare l’articolo Riviste all’Indice. La controriforma dell’Anvur a Roars, che l’ha pubblicato oggi, sia perché desideravo fosse discusso anche da chi non è d’accordo con me, sia perché volevo chiarire, fuori da ogni conflitto d’interessi,  la posizione teorica condivisa da Brunella Casalini e da me. Dalla teoria discenderanno delle proposte pratiche che renderemo pubbliche fra qualche giorno. Intanto proponiamo a tutti la domanda a cui tenteremo di rispondere: è possibile costruire una forma di valutazione chiara e trasparente che si sottragga al rischio della scienza di stato rimanendo nelle mani della comunità degli studiosi?

Tags:

Accessi: 487

Diecimila anni

Un famoso mito del Fedro di Platone paragona le anime umane a dei carri alati. Trascinati da forze contrastanti, vedono di sfuggita la verità delle idee in un luogo al di sopra del cielo e ricadono in una prigione di carne. Per tornare in alto dovranno attraversare un ciclo di reincarnazioni che durerà da tremila a diecimila anni.

Per quanto ci fossero cosmologie antiche in grado di concepire tempi molto più estesi, diecimila anni sono un periodo lunghissimo non solo rispetto a quello dell’esistenza di un individuo, ma anche a paragone con la storia dell’umanità. A oggi, convenzionalmente, la nostra storia  non supera i 5500 anni, e ancor meno, se, con Kant, consideriamo storico solo quanto può essere autenticato dalla continuità di un pubblico colto.

Sebbene gli si possano attribuire significati esoterici, mistici e morali, il mito del Fedro è un  racconto sulla ricerca della conoscenza – platonicamente, di una realtà oggettiva fuori dai confini del nostro mondo e della nostra esperienza e dei nostri tentativi di approssimarci ad essa. I diecimila anni, oltrepassando la prospettiva delle persone e della civiltà, suggeriscono che il senso di questa ricerca trascende l’utilità che gli individui e le società possono sperare di trarne. Dal loro punto di vista la ricerca è dunque perfettamente inutile. Ma deve rimanere tale, perché voler capire qualcosa di più della realtà non significa necessariamente saper trovare quel poco che ci serve nello spazio angusto dell’esistenza individuale e collettiva.

Ci sono persone e società in grado di immaginare orizzonti di diecimila anni, e epoche intere che ne sono incapaci, perfino quando gli effetti delle loro opere li superano di gran lunga. In simili epoche la libertà della ricerca è in pericolo, vuoi che si cerchi di asservirla alla ragion di stato, alla difesa della razza, o a un presunto ideale di efficienza economica, sempre in combinato disposto con le personalissime ambizioni dei professori. L’orizzonte sovrumano indicato da Platone e dai mortali della Grecia antica è il nostro debito verso di loro.

 

 

Accessi: 632