Pagine

lunedì 18 luglio 2016

La rete e il castello, parte II - La valutazione mite dell'università


Eccoci al secondo appuntamento con La Rete e il castello, il mio saggio in tre puntate sullo stato attuale di università e ricerca in Italia. La seconda parte contiene analisi e proposte sui metodi di valutazione dell'università italiana. La prima parte del saggio, La libertà della ricerca, la trovate qui. Questo saggio è inevitabilmente molto tecnico, di difficile lettura per i non addetti ai lavori. Me ne scuso e al tempo stesso vi invito a segnalarmi errori o imprecisioni. Le vostre osservazioni sarebbero utili per l'edizione finale del documento, che vorrei consegnare alla Commissione Cultura del Senato al fine di promuovere una discussione parlamentare sul tema.

Come alle origini del feudalesimo la vita collettiva si ritirò dalle reti territoriali romane per incastellarsi nelle alture, così il sistema universitario tende a concentrarsi in alcune istituzioni e ad abbandonare il resto. Un gruppo di atenei ricevono più soldi, più cattedre e più immatricolazioni a detrimento di tutti gli altri poiché le risorse complessive sono calanti.

Secondo la dottrina corrente la concentrazione di risorse dovrebbe servire a tenere il passo della competizione. Sono di moda le classifiche internazionali, spesso fuorvianti nella metodologia e quasi sempre fraintese nel chiacchiericcio mediatico. Di solito si mena scandalo per l’assenza nei primi 100 ma non si vede l’ottimo risultato di circa la metà degli atenei nei primi 500 (ovvero nel top del 5% del mondo) e i due terzi sopra la media mondiale nel ranking Scimago della produttività scientifica.
Le comparazioni internazionali, se interpretate correttamente, dimostrano che il nostro punto di forza è nella dotazione di molte università di livello buono. Abbandonare la rete per rinchiudersi nel castello è una politica autolesionista. Significa giocare la competizione tenendo in panchina la squadra migliore.

È un programma non dichiarato, ma attuato con una coerenza davvero inusuale per la politica italiana. Benché diversi in tutto, gli ultimi quattro governi hanno seguito la medesima politica universitaria, quasi un pensiero unico sull'Accademia.
La continuità è assicurata da meccanismi automatici di allocazione delle risorse. I governi hanno attuato l’incastellamento senza prendersene la responsabilità. Gli obiettivi politici sono stati introiettati negli algoritmi apparentemente neutrali. La retorica della valutazione è stata utilizzata come il proseguimento della politica con altri mezzi. È servita come ombrello ideologico per ridurre e concentrare le risorse del sistema.

L’ipocrisia lessicale addolcisce le brutte notizie. Sono definiti “virtuosi” gli atenei che aumentano le tasse, già oggi tra le più alte in Europa. Ancora più virtuosi sono ritenuti quelli che, non rispettando la legge, superano il massimale delle entrate dagli studenti; ottengono un incentivo dal Ministero e una sanzione dai tribunali. La quota di risorse ripartita in base alla valutazione viene chiamata "premiale", anche se non premia quasi nessuno, semmai penalizza in diversa misura. I migliori atenei riescono a limitare i danni e cercano le risorse aggiuntive nei bandi liberi, ormai solo europei. Per gli altri i tagli non sono più una “cattiveria” del governo, ma diventano una "colpa" certificata dall’Anvur. L’agenzia ha pagato un prezzo caricandosi l'onere delle scelte che i ministri non avevano il coraggio di assumere direttamente.

Ridurre i finanziamenti non appare più una decisione politica, ma una condanna morale. Chi la subisce non è neppure legittimato a protestare, gli algoritmi dicono che ha meritato la sanzione. Così l'università italiana ha accettato la più grande riduzione di risorse della sua storia. Non è un caso isolato, è un dispositivo ampiamente utilizzato nella crisi politica europea. Il debito si tramuta in colpa nello Zeitgeist della Schuld.
Per rischiarare il discorso, allora, occorre una sorta di ermeneutica della valutazione. Come viene svolta e come viene utilizzata non sono affatto modalità oggettive, ma decisioni che perseguono obiettivi per lo più inconfessati. Propongo di seguito un'analisi critica degli algoritmi di valutazione e degli schemi di allocazione delle risorse.

Algoritmi di valutazione - Bisogna chiarire un diffuso fraintendimento: la VQR non fornisce una misura oggettiva della produttività scientifica, intesa come rapporto tra la produzione e le risorse impiegate e quindi come misura autentica del merito di un'istituzione. Il parametro di sintesi (IRFS) elaborato dall'Anvur per ciascun ateneo è composto da due diversi tipi di indicatori. Il primo IRAS1 dipende dalla produzione scientifica delle diverse aree scientifiche e, almeno concettualmente, può aspirare a una certa oggettività, affinando le procedure e confrontandosi con le obiezioni venute dalla letteratura scientometrics. La sua tendenziale neutralità è però inficiata dalla combinazione con altri indicatori, che invece misurano alcune funzioni gestionali della ricerca - relative ad aspetti molto parziali delle politiche di finanziamento e del personale - oltre ai risultati dei ricercatori neoassunti o promossi. Il set di funzioni prescelto è discrezionale, se ne potrebbero individuare anche altre. D'altro canto, non esiste un criterio oggettivo per comporre un insieme di variabili tra loro incommensurabili.

Nonostante l’arbitrarietà è proprio questo secondo indicatore "gestionale" che condiziona il risultato finale, poiché presenta una significativa varianza dei risultati rispetto al primo indicatore della produzione scientifica. Del baco dell'algoritmo sono evidentemente consapevoli i responsabili dell'Anvur, se nella nuova versione della VQR (2011-14) hanno ridotto il peso degli indicatori "gestionali" (IRAS 2-4-5-6) dal 35% al 2%. L'incongruenza ha influenzato i risultati della prima VQR, ma non ha dissuaso il Ministero dall'impiegarli per allocare circa il 20% dei fondi disponibili, una percentuale tra le più alte nei sistemi europei che pure fanno valutazione da molto tempo. Si vuole primeggiare, purtroppo negli errori.
La combinazione arbitraria di variabili eterogenee scaturisce dalla pretesa di comporre una graduatoria attribuendo un risultato unico ad ogni ateneo. Ma questo “ranking” è una forzatura, poiché il metodo inglese RAE - al quale l’Anvur vorrebbe ispirarsi – determina invece un “rating” raggruppando gli atenei in classi di merito composte secondo diversi parametri.

Infine, gli indicatori possono essere interpretati come output e input della produzione scientifica; il primo (IRAS 1) rappresenta i risultati mentre gli altri (IRAS 2-4-5-6) rappresentano alcuni fattori di produzione della ricerca. Si potrebbe pensare che la loro combinazione costituisca una misura della produttività, ma se fosse davvero così si dovrebbero prendere in esame anche altri parametri. Soprattutto l'algoritmo VQR dovrebbe partire da una chiara scelta tra le diverse possibili definizioni di produttività. Ad esempio, non si potrebbe escludere la formula più semplice che calcola i risultati in rapporto ai fondi disponibili. E invece, viene presa in considerazione solo una piccola parte dei finanziamenti provenienti dall’esterno, con l'esclusione del contributo ben più rilevante che viene dallo Stato.

Concludendo, la VQR non è una misura della produttività scientifica perché la rappresenta in modo indiretto, discrezionale e parziale. D'altro canto non è neppure una misura rigorosa della produzione scientifica, perché distorce il parametro dei risultati combinandolo con quelli “gestionali”.
Sarebbe stato meglio per l'Anvur limitarsi a rilevare i risultati scientifici, senza appesantire l’algoritmo con variabili relative ai contenuti delle politiche. Introducendo aspetti gestionali ha presupposto un modello ottimale di ateneo o di Ente che non è compito dei valutatori definire. Ha compiuto un passo indietro rispetto alla prima sperimentazione del Civr basata su una netta distinzione tra i risultati scientifici e gli obiettivi di policy.

Schemi di riparto delle risorse - Molto più pesanti sono le distorsioni derivanti dalla maldestra utilizzazione della VQR negli schemi di riparto delle risorse. Essi hanno utilizzato negli ultimi cinque anni ben 22 parametri, modificati vorticosamente sempre dopo aver raccolto i dati. Se in una gara d'appalto un Sindaco scrivesse il capitolato dopo aver aperto le buste delle offerte chiamerebbero i Carabinieri, mentre al Miur la chiamano meritocrazia. La definizione ex-post dei criteri produce due effetti negativi. In primo luogo, anche ammessa la buona fede, diventa legittimo il dubbio che i parametri possano essere stati adattati ai risultati. In secondo luogo, se gli atenei non sanno prima su quali obiettivi saranno misurati, non ricevono alcun incentivo a modificare i comportamenti. La procedura poco trasparente demolisce due colonne portanti della valutazione: la credibilità dei regolatori e l'efficacia della regolazione.

Passando dalle procedure ai contenuti degli schemi di riparto, risulta evidente l’effetto di incastellamento. L'ateneo migliore riceve maggiori risorse mentre l'ateneo inadeguato subisce una penalizzazione. Questo dovrebbe essere spinto a migliorarsi fino a risalire nei livelli alti del ranking, secondo il modello concorrenziale perfetto che però funziona solo nella testa degli “economisti di Palazzo”. Nella realtà gli strumenti per la risalita sono inibiti o indeboliti sotto diversi aspetti. Prevale la tendenza conservativa degli squilibri attuali. Sono proprio gli incumbents a trarre vantaggio dagli schemi di riparto. Quando il mercato diventa una metafisica vengono a mancare le condizioni pratiche per una vera concorrenza sull’innovazione del sistema universitario. Vediamo quali sono i fattori conservativi:

- L'eccesso di leggi impedisce lo sviluppo di una vera autonomia e quindi la preparazione di originali vie di miglioramento. È la principale contraddizione della politica di questi anni: l’istituzione dell’Anvur doveva essere accompagnata da una vasta delegificazione e invece è arrivata l'alluvione normativa della legge Gelmini che ha soffocato la ricerca e la didattica. Altro che merito, si è affermata una sorta di numerologia cabalistica che definisce i parametri ottimali dei dipartimenti, dei corsi, delle carriere ecc. Se il legislatore presume di sapere già come debba essere organizzato il buon ateneo, la valutazione si riduce a misurare la convergenza verso la norma. Se invece si aprisse una concorrenza sull’innovazione, la valutazione dovrebbe riconoscere le diversità di modelli e di approcci del sistema.

- La quasi scomparsa dei bandi di ricerca libera impedisce all'ateneo penalizzato di migliorarsi tramite la competizione sui progetti. Le risorse vengono ripartite di fatto solo sulla reputazione consolidata dei laboratori. In un sistema ben regolato ci deve essere un bilanciamento tra i due canali di valutazione: la competizione sui progetti prepara il futuro e la VQR riconosce i meriti del passato. Se manca il primo canale, il secondo stabilizza gli equilibri esistenti. Ciò è in evidente contrasto con le tendenze internazionali: negli Usa e nell'Unione Europea la gran parte delle risorse per la ricerca è allocata sulla base di competizione a progetto e molto poco per i meriti consolidati delle istituzioni. Da noi negli ultimi anni sono stati allocati circa 5 miliardi di euro con la VQR e alcune decine di milioni con i Prin e i Firb

- I finanziamenti sono assegnati a ciascun ateneo secondo il posizionamento delle sue aree disciplinari rispetto a quelle nazionali. Tuttavia la varianza dei valori inter è inferiore a quelli intra-ateneo. Le differenze di qualità ottengono riconoscimenti conservativi. Il dipartimento inadeguato non subisce danni significativi se fa parte di una forte università, nonostante il suo contributo negativo sia messo in evidenza dalla VQR. Al contrario, l'università debole finirà per penalizzare anche il dipartimento che svetta nella rispettiva disciplina. I suoi bravi professori, infatti, subiranno forti vincoli sul turnover e in generale avranno scarsa influenza sulla politica delle risorse dell'ateneo, perché l'autonomia dei dipartimenti è stata soffocata dalla monarchia rettorale instaurata dalla legge Gelmini. Inoltre, la varianza è maggiore nelle piccole strutture e tende a diminuire nelle strutture più grandi. Il valore medio di un'area scientifica all'interno di un ateneo molto grande converge verso il valore medio nazionale, contribuendo a stabilizzare i risultati. Infine, l’algoritmo prende in esame non il valore assoluto ma il posizionamento relativo dell'area disciplinare nazionale per evitare il fenomeno della varianza che aumenta nei settori a prevalenza non bibliometrica. Così facendo, però, risolve un’incongruenza e ne crea un’altra, poiché i valori posizionali non dovrebbero essere sommati e tanto meno sottoposti a operazioni di media, almeno in un rigoroso metodo matematico. Secondo alcuni studi i risultati finali risentono della dimensione e della composizione disciplinare dell’ateneo, cioè da fattori estranei al merito, ma di sicuro effetto conservativo della performance.

- Le condizioni di contesto non sono considerate con la sensibilità necessaria, quasi dimenticando gli squilibri territoriali che segnano l'Italia in misura maggiore rispetto agli altri paesi. Molti parametri non sono adeguatamente normalizzati e finiscono per attribuire il merito o la virtù alle esistenti disuguaglianze economiche e sociali. Ad esempio, è sbagliato premiare la tassazione, il finanziamento esterno o il numero degli studenti in Erasmus, poiché sono variabili strettamente correlate alle fratture territoriali e in gran parte indipendenti dalla capacità dei singoli atenei.

- I miglioramenti della performance non vengono apprezzati correttamente. La VQR confronta i risultati del periodo 2004-10 con quelli del periodo 2001-3 che però furono elaborati dal Civr con una metodologia diversa. È azzardato utilizzare dati eterogenei per valutare la dinamica temporale della produzione scientifica. E purtroppo si perderà anche l’occasione della prossima VQR, la quale utilizzerà una diversa ripartizione dei livelli di performance nonché un set diverso di parametri e di pesi e quindi fornirà risultati non paragonabili con quelli della prima VQR. La bulimia degli algoritmi impedisce di costruire serie storiche affidabili. Neppure l’apprendimento degli studenti viene valutato rispetto ai livelli di formazione pre-universitaria, che risultano molto differenziati per territorio come mostrano le rilevazioni PISA-OCSE. È molto più difficile per un ateneo meridionale contrastare l’abbandono o il rallentamento degli studi.

- L’attività didattica è mortificata sotto diversi aspetti. Innanzitutto viene valutata in rapporto ai crediti acquisiti negli esami universitari e al numero di fuori corso. È un incentivo ad abbassare l’asticella dei meriti degli studenti per ottenere maggiori finanziamenti. Si rischia il ritorno del sei politico sotto le mentite spoglie della meritocrazia. Inoltre, il peso della didattica è di gran lunga inferiore a quello della ricerca nell’allocazione delle risorse. Anche questo è un incentivo sbagliato per i giovani professori e per i dipartimenti. In futuro la corsa alla pubblicazione diventerà molto più conveniente della cura dell’insegnamento. E per il passato vengono penalizzati gli atenei che, pur continuando a fare ricerca, hanno privilegiato l'investimento nelle risorse umane e nei servizi della formazione, fino a costituire preziosi presidi territoriali. Queste esperienze dovrebbero oggi rapidamente riconvertirsi nel primato della ricerca, con una giravolta difficile da realizzare per le rigidità burocratiche e del personale, ma probabilmente neppure utile all'interesse nazionale.

- Il costo standard è stato introdotto nel 2015 nella ripartizione del FFO. È certamente un criterio utile per superare la spesa storica, ma è calcolato in rapporto a un numero di studenti ritenuto ottimale dal Ministero. Se il corso non raggiunge il valore massimo provoca una diminuzione del contributo statale. La misura tende a premiare i grandi atenei e a disincentivare i piccoli, prescindendo dal valore che quel determinato insegnamento può avere in rapporto al territorio o al valore innovativo della disciplina. Tutto ciò è in contrasto con gli stessi risultati della valutazione che per molti aspetti segnalano criticità proprio nelle strutture più grandi. Inoltre, questo metodo di calcolo penalizza gli atenei che si trovano nei bacini limitati di domanda o in condizioni logistiche sfavorevoli, come nel caso delle isole, soprattutto la Sardegna.

- La valutazione è applicata sempre alle università e mai al Ministero. Invece, sarebbe necessaria una rigorosa policy analysis – come si fa in tanti paesi civili - per verificare la coerenza delle iniziative governative con i risultati della VQR. Ad esempio, i dati dimostrano che i ricercatori assunti tra il 2004 e il 2010 hanno avuto una produzione scientifica molto positiva. Oibò, i concorsi allora non erano tutti negativi, come voleva far credere la campagna denigratoria orchestrata per giustificare il taglio dei fondi e il blocco quasi totale delle assunzioni. Un ateneo che voleva migliorare la propria performance chiamando giovani professori era quasi impossibilitato a farlo. C'è una contraddizione palese tra valutazione e policy. I risultati scientifici dei nuovi professori pesano molto sul parametro di sintesi; costituiscono l'indicatore maggiore dopo quello della produzione scientifica complessiva, rispettivamente 20% e 75% nella seconda VQR (10% e 50% nella prima VQR). L'accesso dei giovani ricercatori viene premiato dagli algoritmi e impedito dalla politica ministeriale. La stessa contraddizione riguarda il costo standard, che vale per ridurre i fondi degli atenei, ma non per calcolare il fabbisogno del sistema. Se fosse applicato alla definizione del FFO, infatti, il Ministero sarebbe costretto ad aumentare di oltre un miliardo il finanziamento dell’università.

- L'allocazione delle risorse mediante l'applicazione mutevole e contestuale di diversi algoritmi, non sempre ben calibrati, rischia di innescare una sorta di “trappola di inadeguatezza”. L’ateneo non può risalire la china se, dopo aver ottenuto una valutazione negativa nella ricerca, viene travolto anche dalla riduzione degli organici, dal taglio delle borse di dottorato ed è pure costretto ad aumentare le tasse, proprio mentre comincia a perdere immatricolazioni, le quali innalzano il suo costo standard e diminuiscono la quota di FFO. L’insieme di queste regolazioni rischiano di trascinarlo sempre più in basso, come in una sorta di buco nero. L'applicazione degli algoritmi è ormai diventata virale e nonostante le disfunzioni viene estesa anche alle risorse interne degli atenei. Inoltre, le recenti iniziative - le cattedre Natta e la ripartizione dei nuovi posti Rtdb - aumenteranno le risorse solo per i gruppi più forti. Se non esiste più alcun criterio di fabbisogno, l'ateneo in difficoltà avrà sempre meno gli strumenti per uscirne.

Tutte queste incongruenze convergono nell'alimentare processi cumulativi positivi e negativi. Chi ha di più avrà sempre di più e chi ha di meno avrà sempre di meno. Gli squilibri esistenti tendono a cronicizzarsi.
Dietro l'apparente neutralità degli algoritmi si nasconde la decisione di concentrare le risorse in una parte del sistema. L’incastellamento rende l’università più povera, più rigida e più chiusa.
L’efficacia della regolazione è molto bassa se si premiano solo i migliori e si penalizzano i peggiori. La performance dei primi è poco sensibile alla regolazione perché è già collocata ad alti livelli ed è determinata da interne motivazioni che prescindono in gran parte dall’incentivo. I risultati dei secondi, invece, sono stabili o decrescenti proprio in conseguenza delle penalizzazioni che agiscono contemporaneamente sugli strumenti, le risorse e la reputazione. L’esito è prevalentemente conservativo o peggiorativo.

Invece, se si vuole aumentare la qualità complessiva del sistema bisogna innalzare i livelli più bassi. Aiutare chi rimane indietro non è solo un principio morale, è anche una regolazione più efficiente, poiché ottiene risultati di gran lunga maggiori dell’attuale ripartizione basata sul bonus e malus. È come innalzare l’intero triangolo invece che il solo vertice. Ovviamente non si deve cadere nell'assistenzialismo, occorrono procedure e organizzazioni in grado di controllare che le risorse assegnate all'ateneo inadeguato siano davvero spese per un graduale e verificabile miglioramento.

L'incastellamento dell'università non sarebbe mai stato accettato se l'avessero proposto esplicitamente i politici. Il potere della valutazione surroga l'ignavia dei governi e impone come oggettive scelte che in realtà sono arbitrarie. Diventa perfino difficile avanzare obiezioni nel dibattito pubblico, perché non solo i tagli sono accompagnati dalla colpa, ma non è neppure immediato decodificare gli algoritmi e gli stessi automatismi sembrano escludere altri possibili approcci.
Questa surroga della politica nuoce alla valutazione, la compromette con il potere, e suscita reazioni altrettanto ideologiche che arrivano a negare qualsiasi forma di accountability. Dopo un lungo ritardo si era aperta nel senso comune accademico una disponibilità verso la verifica dei risultati. Le distorsioni che ne hanno caratterizzato l'avvento rischiano di alimentare una nuova avversione.

La mia critica è ben disposta verso la valutazione e vorrebbe solo salvarla dall'abbraccio mortale con l’ideologia dominante. Da deputato ho presentato il primo disegno di legge - nel lontano 2005 insieme all'allora senatore Modica - per un'Authority terza rispetto alla politica e all'Accademia; poi fu istituita dal governo Prodi in forma di Agenzia governativa, e il Regolamento fu modificato dal governo Berlusconi in senso ancora più filo ministeriale.
I difetti attuali dipendono, a mio avviso, dall’abbandono del progetto iniziale. Ma si può sostenere legittimamente che l’esito fosse già implicito in quella impostazione. A pensarla così è chi ritiene che la verifica dei risultati possa realizzarsi solo in questo modo. Che non ci siano alternative lo dicono oggi sia i nemici sia i tifosi dell'Anvur. Invece, non solo è possibile, ma è proprio necessaria un'altra politica della valutazione per valorizzare i caratteri peculiari dell'università italiana.

La falsa partenza non dipende solo dall’impianto normativo, ma dal clima politico-mediatico che ha accompagnato l’istituzione dell’Anvur. A quel tempo la discussione era segnata dai casi di malaffare e di nepotismo che venivano generalizzati in un giudizio liquidatorio. Il governo si è costruito l’alibi per tagliare le risorse e bloccare gli accessi dei giovani. Ha trovato però un valido aiuto nell’incapacità del sistema di espungere i comportamenti che demolivano la sua credibilità. Il contenimento che non si otteneva dall’etica interna si è ritenuto di appaltarlo a una tecnostruttura esterna. Ma in questo modo si è caricata la valutazione di un approccio sanzionatorio che è improprio come fine e inefficace come mezzo. È diventata una clava per punire l’ambiente accademico piuttosto che uno strumento per migliorare la qualità del sistema. Ha surrogato l'incapacità di gestire normali procedure di controllo scientifico e amministrativo. Sono in vigore leggi severe, che arrivano fino al commissariamento, ma non pare siano state utilizzate preventivamente per impedire i più gravi casi di mala gestione degli ultimi anni. E nuove procedure potrebbero essere introdotte per qualificare e irrobustire la funzione ispettiva del Ministero per i casi di evidente illegittimità che troppo spesso rimangono impuniti. Invece di una severa azione di controllo si è presa la scorciatoia della valutazione per risolvere i difetti dell'accademia.

L'esigenza prevalente del controllo ha conferito in via di fatto all’Anvur un compito di omologazione. Si è ribaltato l’obiettivo fondamentale della valutazione: secondo le buone intenzioni dei proponenti doveva servire a sviluppare l’autonomia e invece è stata utilizzata per accentuare l’uniformità, in sintonia con una legislazione sempre più prescrittiva. Tutte le norme e gli algoritmi attuali apprezzano il grado di convergenza verso una sorta di modello standard di ateneo, costruito - come si è detto sopra - su un set parziale e controverso di funzioni. Ad esempio, ottiene il plauso sia del legislatore sia del valutatore solo l'istituzione che privilegia la ricerca più della didattica, che compensa i tagli con i fondi esterni, che aumenta le tasse. Perfino i migliori scienziati contribuiscono inconsapevolmente alla standardizzazione proiettando la propria bravura sul modello Harvard, che però non può essere generalizzato, anzi è minoritario perfino negli Usa.

La complessità della vita universitaria viene ridotta secondo lo schema di “ateneo desiderabile” implicito nella valutazione. Ad esempio, il parametro IRAS della VQR, che dovrebbe essere una misura pura della produzione scientifica, viene distorto dal numero dei così detti inattivi della ricerca, interpretati solo come fannulloni. Poi si scopre che sono numerosi alla Bocconi e alla Cattolica perché in alcune realtà la figura del professore viene articolata al fine di corrispondere a una diversificazione organizzativa. La gravità del fenomeno è rilevante solo in alcune discipline, in particolare Giurisprudenza e Medicina arrivano a tre volte la media. Se è un problema strutturale di quelle aree, andrebbe affrontato non con la VQR, ma con la regolazione e il controllo dei rapporti tra didattica, ricerca e libera professione.

La logica implicita del modello standard non promuove la diversità, ma rafforza solo la normatività. Tutto ciò è in aperto contrasto con la tendenza internazionale verso la pluralità dei modelli. Le dinamiche della conoscenza contemporanea esaltano la molteplicità delle sue istituzioni. Le tecnologie della formazione produrranno a breve una rivoluzione nelle forme organizzative della didattica. Nelle migliori esperienze si afferma una sorta di “biodiversità” dei sistemi universitari. Queste tendenze sono in sintonia con il carattere policentrico dell'università italiana. Si potrebbe accarezzare il cambiamento curando proprio la qualità della rete, invece di imporre contro natura il modello standard.
Occorre liberare l’Anvur dal fardello politico che si è messo sulle spalle. Gli algoritmi non debbono surrogare l’assenza di esplicite e responsabili politiche pubbliche. L’analisi dei risultati non serve a punire i colpevoli, ma a migliorare la qualità del sistema. Quella che si è vista in Italia non è l’unica strada possibile, anzi è uno sviamento dalle buone pratiche. 
Per uscire dall’ossessione dello standard, c’è bisogno di una valutazione che verifichi i risultati in base alle vocazioni e ai progetti dei diversi atenei.

Questa metodo si affaccia timidamente nelle linee guida ministeriali per il prossimo triennio, forse come inconfessata consapevolezza degli errori compiuti. Una piccola parte della quota di riparto verrà allocata offrendo la possibilità a ciascun ateneo di scegliere uno dei quattro schemi predefiniti. Si aggiunge come un soprammobile un criterio di molteplicità che invece richiederebbe un ripensamento generale della logica dello standard. All'Invalsi è andata più avanti la riflessione sull’esperienza condotta nelle scuole. Con il metodo Rav si è cercata una relazione tra la valutazione esterna standardizzata e l’autovalutazione interna su obiettivi di miglioramento. L'ultimo rapporto 2016 poi arriva a definire il valore aggiunto prodotto dalle scuole nelle competenze e conoscenze degli studenti, al netto dei condizionamenti del contesto sociale e familiare e delle precedenti tappe formative. Non si capisce perché nell'università non si possa mirare sul miglioramento delle performance. Le due agenzie - Anvur e Invalsi - seguono in questo momento approcci di accountability molto diversi, pur all'interno dello stesso Ministero. Ognuno si regola come meglio crede in assenza di una strategia nazionale.

Tutto ciò conferma la possibilità di una strada diversa. Il potere della valutazione nell'università ha dimostrato tutti i suoi difetti. È ancora da scoprire, invece, la mitezza della valutazione che stimola il miglioramento delle istituzioni secondo le proprie vocazioni e gli obiettivi prescelti. 
La valutazione mite apprezza la competizione, senza considerarla l’unica dimensione di confronto. La crescita di qualità del sistema ha bisogno anche di cooperazione tra le istituzioni. L'analisi dei risultati deve servire ai diversi atenei per riconoscersi nei caratteri che più utilmente possono essere integrati per fare forza comune. 

La valutazione della didattica, secondo la qualità effettiva e non la numerologia di Ava, consentirebbe di elaborare progetti intelligenti di offerta formativa su base regionale, valorizzando le migliori esperienze per ciascuna disciplina ed eliminando inutili sovrapposizioni. Sarebbe una svolta rispetto alla riorganizzazione oggi in atto solo in base alla variabile casuale dei pensionamenti.
La valutazione della ricerca dovrebbe servire non solo a ripartire i fondi, ma anche a evidenziare le risorse disponibili per una strategia di sistema: la cooperazione tra i diversi laboratori nelle politiche nazionali ed europee, il fabbisogno di innovazione delle infrastrutture, il posizionamento nelle frontiere della conoscenza, le opportunità per i giovani studiosi.

La valutazione mite ripudia l'incastellamento e si prende cura della rete. Ha fiducia nella fertilità della campagna, non si chiude nelle alture fuggendo dai saraceni che vengono dal mare. La rete è il carattere italiano non ancora valorizzato nel nuovo mondo della conoscenza.

7 commenti:

  1. Concordo sostanzialmente su tutto quello che Walter Tocci scrive, e anche su una cosa che non scrive: l'ANVUR attuale va semplicemente sciolta in quanto nefasta miscela di incapacità e di arroganza. Se, dimenticando per un istante i gravi errori fatti, questi ras dell' ANVUR neppure capiscono la banale realtà degli articoli a molte firme (anche centinaia) che, secondo loro, valgono - pro capite- quanto quelli a firma singola, stiamo davvero messi male.

    RispondiElimina
  2. L'analisi di Tocci è ammirevole, ma temo che i danni inflitti negli ultimi anni all'Università siano irreversibili. Si è ormai costituito negli Atenei un "blocco dirigente" modellatosi sulle politiche governative, e ormai incapace di concepire una diversa prospettiva. La distruzione di risorse umane (blocco del turn-over, "macero" di intere generazioni di dottori di ricerca) ha leso il "sistema nervoso" di molte discipline in modo temo irrecuperabile. Forse (dico: forse) una scossa come la pura e semplice dissoluzione dell'Anvur, potrebbe avere effetti positivi. La metterei come punto programmatico di un prossimo governo Tocci (prossimo?). Ciao a tutti. Giorgio Inglese, Sapienza Università di Roma

    RispondiElimina
  3. Questo commento è stato eliminato dall'autore.

    RispondiElimina
  4. Un primo breve commento:

    Introdurre la stima della produttività (rapporto tra prodotti le risorse impiegate) sarebbe fondamentale, è questa come dice Walter, "la misura autentica del merito di un'istituzione", ma temo che sia molto molto difficile.
    Tra l'altro sarebbe necessaria una distribuzione più equa dei fondi.
    Che senso ha poi che grossi gruppi che possiedono già finanziamenti "mostre" competano anche per i Prin (ammesso che ritornino...) o per progetti di ateneo, attaccandosi anche a "briciole" di 20-30mila euro? Non potrebbero rinunciare a questa sorta di voracità bulimica e lasciare spazio ai gruppi più piccoli che necessitano di risorse meno ingenti?

    RispondiElimina
  5. L'ultimo punto e' piu' delicato di quanto potrebbe sembrare. A prima vista sembrerebbe ovvio che gli articoli a "moltissime firme" debbano valere in modo inversamente proporzionale al numero di firmatari. Ma per dirla con i fratelli Coen, non e' cosi' semplice. Prendiamo la fisica delle alte energie, e gli esperimenti che si fanno a LHC. In quel caso le moltissime firme non sono una scelta, sono la indicazione delle dimensioni del gruppo di ricerca che ha effettuato l'esperimento. Non potrebbe essere altrimenti. Di norma gli esperimenti richiedono anni per esser completati, per produrre risultati pubblicabili. La verità e' che i lavori che escono in quel settore sono difficilmente comparabili perfino con lavori che rientrano nella stessa area concorsuale, ma che riguardano esperimenti in cui il numero di participanti e' piu basso di uno o più ordini di grandezza. La valutazione di questo tipo di produzione scientifica non può' che essere affidata agli esperti del settore. Vedo molto difficile una "normalizzazione", per le ragioni che ho esposto.

    RispondiElimina
  6. "... In secondo luogo, se gli atenei non sanno prima su quali obiettivi saranno misurati, non ricevono alcun incentivo a modificare i comportamenti...." veramente questo è uno dei pochi punti buoni di una pratica di per sé non solo costosa ma anche inutile. Come dice all'inizio del pezzo "...Di solito si mena scandalo per l’assenza nei primi 100 ma non si vede l’ottimo risultato di circa la metà degli atenei nei primi 500 (ovvero nel top del 5% del mondo) e i due terzi sopra la media mondiale nel ranking Scimago della produttività scientifica...." quindi sembrerebbe che l'Università italiana è mediamente OK...quindi, perché spendere risorse per valutarla? PRIMA domandiamoci PERCHE' e e SOLO DOPO casomai agiamo....

    RispondiElimina