Open peer review: un esperimento

Come abbiamo scritto anche su queste pagine, la revisione paritaria tradizionale è da tempo in discussione. Perché dei giudici anonimi, scelti segretamente dalla direzione di una rivista, dovrebbero garantire una valutazione accurata e imparziale dei testi loro sottoposti?

Quando le comunità disciplinari sono piccole, coese e concordi sui paradigmi il loro controllo sugli esiti visibili del processo ne tempera i limiti. Questo, però, è più difficile quando la comunità si allarga, è plurale nei paradigmi ed esposta all’influenza di attori, come le multinazionali dell’editoria commerciale e i loro agenti non umani, il cui interesse primario è  lontano dall’ethos della ricerca. La rete ci rende possibile ampliare i nostri collegi invisibili ma ci espone, nello stesso tempo, al rischio di trovarci a lavorare in ambienti più simili a catene di montaggio o a piste da competizione che a comunità di dialogo e di sapere.

Usare la rete per aprire la peer review, trasformando gli aristocratici Pari in democratici uguali che si fanno valere sul campo, potrebbe essere una soluzione non nuova, anche se non semplice. La discussione libera – l’uso pubblico della ragione – è sempre stata il metodo dichiarato delle scienze, umane e no. Naturalmente, come sapeva il Socrate del Gorgia, la sua misura sta nel grado di adesione effettiva alle regole che ciascuna comunità riconosce a parole. In un sistema complesso ma  non gerarchico in cui ogni nodo è facilmente accessibile e collegabile, la trasparenza sulle procedure e sulle fonti può fare le veci dell’autorità.

I vincoli tecnologici ed economici del sistema della stampa imponevano di risolvere il problema della complessità del sapere con un metodo opaco, pericolosamente simile alla censura. D’altra parte, la revisione paritaria aperta può essere facilitata dalla rete, ma non ne è il frutto spontaneo. Può funzionare solo entro una comunità indipendente e motivata, che sappia riconoscere il valore della cooperazione e del dialogo critico e desideri proporre una conversazione scientifica in grado di ritrasformare l’informazione in sapere, tracciando piste per percorrere una foresta sempre più indefinita nei suoi confini e intricata nei suoi nessi.

Sperimentare.la revisione paritaria aperta in questo momento, in Italia, è difficile, non solo per i limiti interni di un mondo della ricerca decimato e impoverito, ma soprattutto perché si oppone a quanto sta cercando di imporci lo stato tramite l’Anvur, che è un’autorità di diretta nomina governativa. Il modello dell’Anvur è arretratissimo e tendenzialmente chiuso sia perché privilegia database proprietari o comunque inaccessibili, sia perché è costruito prevalentemente sul presupposto della mediazione editoriale commerciale. Proprio per questo è importante dimostrare che un’alternativa è possibile: piegarsi ai criteri dell’Anvur significa rinchiudersi in un recinto, oggi, ed esporsi al rischio di venir tagliati senza che nessuno se ne accorga, domani.

Si tratta, quindi, di un esperimento incerto, ma indispensabile, per sottrarsi a un destino in cui l’inaccessibilità conduce all’irrilevanza sociale e questa, a sua volta, facilita la cancellazione. Non dobbiamo, dunque, temere la rete, dobbiamo diventare la rete. 

In questo spirito, il bftp mette a disposizione le sue pagine per provare, come si sta facendo in paesi in cui la ricerca è più libera, la revisione paritaria aperta. 

Il primo articolo che proponiamo all’open peer review è una traduzione di un saggio di Fichte molto importante per la storia della proprietà intellettuale Prova dell’illegittimità della ristampa dei libri. Un ragionamento e una parabola. Alla fine del processo, una sua copia verrà donata a Wikisource, entro un’operazione più ampia i cuoi dettagli spiegheremo nei prossimi giorni.

Lo strumento del nostro esperimento è un plugin di WordPress. Commentpress, che permette di commentare un testo paragrafo per paragrafo. Le istruzioni per commentare l’articolo sono qui. Chi non fosse familiare con l’interfaccia può consultare anche la nostra guida per immagini.

Tags:

Accessi: 908

La Società italiana di filosofia politica prende posizione sulla VQR

Mettiamo a disposizione di tutti, qui, il documento approvato dall’assemblea dei soci così come l’abbiamo ricevuto, con la sola aggiunta di un paio di link illustrativi. E’ un testo pensato per essere diffuso: chiunque abbia interesse a distribuirlo può dunque riprodurlo liberamente.

Di mio aggiungo solo un’osservazione che ho scritto altrove, per non confondere le voci, a proposito di un combinato disposto non immediato, ma i cui esiti, una volta messi in luce, mi sembrano davvero vergognosi.

Tags:

Accessi: 628

Open access / accesso aperto

Sto collaborando, per la voce Open access, a un e-book a più mani dal titolo Le parole dell’innovazione. Ricorro all’archivio Marini per mettere a disposizione di tutti una versione estesa del mio lemma. Non dice nulla di nuovo rispetto al già noto; può però essere utile a chi sia completamente disinformato sul tema.

Tags:

Accessi: 464

Anvur: criteri, parametri e liste

Il decreto “Criteri e parametri”, appena uscito sul sito del Miur, dovrebbe indicare i criteri per valutare i candidati che aspirano a ottenere l’abilitazione scientifica nazionale – in modo da poter sperare di passare accademicamente di grado, diventando professori associati se ricercatori e professori ordinari se associati – e per accertare la qualificazione dei commissari che dovrebbero attribuirla.

Agli umanisti, provvisoriamente al riparo dalla bibliometria, interessa in particolare l’allegato B. Riporto qui sotto il secondo comma, per l’uso di chi, a causa dell’esperienza pregressa, conservi una passione insana per le liste. I grassetti sono, naturalmente, miei.

2. Per ciascun settore concorsuale di cui al numero 1 l’ANVUR, anche avvalendosi dei gruppi di esperti della Valutazione della Qualità della Ricerca (VQR) e delle società scientifiche nazionali, effettua una suddivisione delle riviste su cui hanno pubblicato gli studiosi italiani in tre classi di merito:

a) le riviste di classe A sono quelle, dotate di ISSN, riconosciute come eccellenti a livello internazionale per il rigore delle procedure di revisione e per la diffusione, stima e impatto nelle comunità degli studiosi del settore, indicati anche dalla presenza delle riviste stesse nelle maggiori banche dati nazionali e internazionali;

b) le riviste di classe B sono quelle, dotate di ISSN, che godono di buona reputazione presso la comunità scientifica di riferimento e hanno diffusione almeno nazionale;

c) tutte le altre riviste scientifiche appartengono alla classe C.

Per quanto l’Anvur continui a pensare alla ricerca come se fosse il campionato di calcio, con le sue serie A, B e C, è relativamente confortante vedere che ha almeno rinunciato a definire la scientificità d’autorità. La serie C – “tutte le altre” riviste su cui hanno pubblicato gli studiosi italiani – sembra infatti una classe aperta.

Humpty DumptyLa classifica sarà compilata dall’Anvur, “anche avvalendosi dei gruppi di esperti della Valutazione della Qualità della Ricerca (VQR) e delle società scientifiche nazionali”. Ora, che cosa significa “anche”? “Anche sì” ma “anche no”? Se il senso della frase è che l’Anvur consulterà gli esperti dei gruppi di valutazione e le società di studi e poi farà di testa sua, ci troveremmo, ancora, di fronte a un nuovo esempio di riviste all’indice, designate incostituzionalmente da un organo di diretta nomina governativa.

Inoltre, i criteri veramente discriminanti (*) presentati nell’allegato sono tutti “reputazionali”. Perfino la selezione dei database di riferimento è consegnata all’aggettivo “maggiori”. Se “maggiori” non è un eufemismo per indicare i database proprietari WoS e Scopus – e non invece, per avventura, il Doaj – quali saranno queste banche dati verrà stabilito dal vertice dell’Anvur, cioè, ancora, incostituzionalmente, da un organo di diretta nomina governativa.

Che titolo ha – se lo chiedeva, per esempio, Pier Paolo Giglioli – l’Anvur per fotografare reputazioni in nome di tutti noi? Se la “reputazione” rispecchia una conoscenza diffusa nella comunità scientifica in modo analogo a quello in cui la consapevolezza del significato delle parole è diffusa in una comunità linguistica, non c’è per l’Anvur altra legittimazione se non quella che Humpty Dumpty invocava per sé:

“When I use a word,” Humpty Dumpty said, in rather a scornful tone, “it means just what I choose it to mean—neither more nor less.”

Ossia, tradotto, pur senza la vidimazione dall’Anvur: “Quando io uso una parola” – disse Tombolo Dondolo in tono piuttosto sprezzante – “significa esattamente quello che io scelgo che significhi, né più né meno”.

(*) Il criterio della diffusione è misurato, con una certa arretratezza, sul sistema della stampa cartacea. Chiunque abbia una rivista on-line ad accesso aperto con qualche consuetudine di presenza in rete e guardi i log del suo server può constatare di essere letto internazionalmente. Tutte le riviste di questo tipo meritano la serie A? Per quanto, in conflitto d’interessi, la cosa ci possa apparire attraente, non crediamo che questo fosse l’intendimento del decreto.

Per il resto, quante sono le riviste accademiche che, pur avendo una certa continuità di pubblicazione, sono prive di ISSN e non sono presenti in nessun database?

Tags:

Accessi: 4042

Roars: sette proposte per la valutazione della ricerca

L’articolo uscito oggi su Roars, Sette proposte per la VQR, propone sette soluzioni facilmente praticabili per correggere gli aspetti più discutibili della valutazione della ricerca in corso in Italia.  In queste pagine abbiamo discusso molto della classificazioni non bibliometriche delle riviste e abbiamo presentato una nostra soluzione a lungo termine. Nel breve termine pensiamo però che il rimedio suggerito da Roars sia assolutamente condivisibile:

4. Classifiche di riviste non bibliometriche. Sterilizzare l’uso delle classifiche di riviste per i GEV 10-12 e 14: le classifiche delle riviste messe a punto dai GEV non devono entrare formalmente nei processi di valutazione dei prodotti da parte dei revisori. In particolare  i rankings di riviste non devono essere utilizzati per dirimere i conflitti tra revisori, come previsto da alcuni GEV.

Tags:

Accessi: 363

Antoine Blanchard, Il buon ricercatore

Il ricercatore buono pubblica; il ricercatore cattivo pure.

Sorbonne

La bibliometria è l’insieme dei metodi e delle tecniche quantitative – di natura matematico-statistica – ausiliarie alla gestione delle biblioteche e di tutte le organizzazioni che trattano grandi quantità d’informazione.  Può essere usata per razionalizzare gli acquisti librari – con risorse limitate il bibliotecario deve selezionare quanto è più probabile gli venga chiesto dagli utenti – o, meno umilmente, per valutare la ricerca. Ben si capisce che i bibliotecari debbano considerare grandi quantità di testi senza poterli leggere tutti; meno chiaro, però, è perché la nostra ricerca andrebbe valutata senza leggere quello che scriviamo.

La Francia, che ha già affrontato l’esperienza della valutazione della ricerca, è un termine di confronto utile. In particolare, l’articolo Qu’est-ce qu’un bon chercheur?, pubblicato nel blog di Antoine Blanchard La science, la cité, è un buon punto di partenza, con la sua questione solo apparentemente semplice: che s’intende per “buon ricercatore”?

0. Prima della bibliometria il buon ricercatore era uno riconosciuto come tale dai suoi pari. Perché questa definizione rimanesse credibile, però, occorrerebbero pari perfettamente informati sulla ricerca di tutti gli altri, il cui giudizio non fosse influenzabile da altre considerazioni – dall’antipatia personale alle questioni concorsuali. Quanto era forse vagamente praticabile entro piccole comunità di conoscenza non lo può più essere in un mondo in cui la ricerca è iperspecializzata e l’informazione sovrabbondante. La rete – è vero – può costruire reputazioni e offrire strumenti efficienti per il fact-checking. Però, specialmente se la ricerca è innovativa, questa specie di chiara fama arriva, come la nottola di Minerva, soltanto sul far del crepuscolo, dunque troppo tardi per chi desidera valutarci di buon’ora, quando le carriere accademiche muovono i primi passi.

1. Il buon ricercatore è uno che pubblica molto. Il criterio, discriminante nel mondo della stampa, non lo più oggi. Inoltre, nei settori disciplinari in cui si usano articoli a firma collettiva, per chi è in alto nella gerarchia accademica è talvolta molto facile “pubblicare” lavori fatti e scritti interamente da altri.

2. La bibliometria nel suo uso scientometrico suggerisce che il buon ricercatore sia uno che è molto citato: la moneta della scienza, però, può rimanere libera da pratiche speculative solo se il suo conteggio non viene usato a scopi valutativi. E, in ogni caso, sono molto citate sia le grandi scoperte sia i celebri errori.  Né è decisivo selezionare un database composto da citanti eletti e presunti competenti senza ereditare i pregiudizi con cui è stato formato e – spesso inconsapevolmente – anche gli interessi commerciali  che l’ispirano.

3. Con più sofisticatezza, tramite l’indice h, possiamo combinare le due definizioni precedenti: il buon ricercatore è uno che pubblica molto ed è molto citato. Questo criterio fa ingiustizia ad autori di genio, come Wittgenstein, che, pur avendo pubblicato pochissimo, sono molto citati. Però. per un fenomeno noto ai sociologi come effetto San Matteo, è più facile ricevere la sessantesima citazione se si è citati 59 volte, che ottenere l’undicesima se si è citati 10. Se pesiamo ciascuna citazione di un testo con una frazione 1/n, ove n è il numero d’ordine della citazione, otterremo che la prima citazione vale 1 e le altre via via decrescendo con l’aumentare del denominatore. Se calcoliamo il valore di un articolo sommando gli 1/n delle sue citazioni otterremo una serie armonica divergente: il valore delle citazioni cresce sempre più lentamente, ma la loro somma aumenta con continuità, rendendo le cifre ottenute per i vari ricercatori comunque comparabili. Un simile calcolo, che tiene conto dell’effetto San Matteo,  mostra – controintuitivamente – che il ricercatore con 10 lavori citati 10 volte “vale” di più di quello con tre opere citate 60 volte. Se i due ipotetici ricercatori fossero scienziati umani e sociali, il primo profilo corrisponderebbe a quello di un fondista della ricerca, il secondo a quello di un velocista o di una academic star. Nelle gare di atletica, i velocisti sono più popolari dei fondisti: ma questo è un motivo sufficiente a farci credere che siano anche migliori e indurci a finanziare gli uni ma non gli altri?

4. L’ultima ipotesi, post-bibliometrica, è la più elusiva: il buon ricercatore è uno che non fa come gli altri. Quando guardiamo alla storia della scienza questa definizione si applica ottimamente ai grandi innovatori. Senza il senno del poi, però, ci lascia in imbarazzo, perché non si può ridurre a una formula scientometrica: anche il tentativo di misurare lo spirito innovativo contando i premi Nobel si compie pur sempre ex post.

Platone, nel Politico, scriveva che, in una situazione ideale, quando ci siano politici dotati di scienza, è preferibile un governo senza leggi. La legge è come un essere umano ignorante e ostinato il quale non permette che si trasgrediscano i suoi ordini e non accetta che gli si facciano domande, neppure se a qualcuno è venuta in mente una cosa nuova e migliore rispetto al suo logos (294c). La legge è un prodotto del sapere umano, che però sembra pretendere di valere per sempre, anche se il nostro sapere, in quanto storico e finito, non può mai intendere se stesso come definitivo. Nel mondo politico, dove la scienza è quasi sempre assente, le leggi sono invece indispensabili, pur nella loro grossolanità. La critica di Platone alle regole, applicata alla politica, sembra filotirannica ed elusiva; ma, applicata alla scienza, s’adatta perfettamente alla definizione post-bibliometrica di Blanchard e al suo esito: un appello per il pluralismo e la diversità della ricerca.

Sgradevolmente, però, se non c’è un algoritmo per distinguere l’innovatore dal pazzo, una società che desideri davvero finanziare la ricerca deve rassegnarsi al rischio di buttare via i soldi o, più elegantemente, di fare scommesse che possono risultare vincenti o perdenti. Una ricerca senza libertà, soggetta a una norma preconfezionata – sia essa il razzismo dei totalitarismi del Novecento o l’estensione pedissequa del modello aziendale alle università – è destinata a perdere se stessa nella sua capacità d’innovazione e di critica. Nell’ordine degli uomini, ottimi argomenti militano a favore del governo delle leggi; nell’ordine delle idee imporre regole di valutazione rigide è semplicemente fascismo.

Tags:

Accessi: 975