Il posizionamento internazionale della ricerca italiana e i ranking internazionali - P. Miccoli / M. Malgarini

  • PDF

ricercatrice1Introduzione

 

E’ ormai un dato acquisito che l’Italia sia saldamente attestata in una posizione preminente in Europa e nel mondo rispetto alla sua produzione scientifica, sia essa rappresentata sotto forma di presenza di articoli scientifici nei principali database internazionali, sia in termini di citazioni normalizzate. Non altrettanto confortante è invece il dato relativo alla collocazione internazionale degli Atenei italiani se si vanno ad osservare le graduatorie preparate da Agenzie o da Media di assoluto prestigio: queste compaiono annualmente, puntualmente riprese dagli organi di stampa di tutti i paesi; esse ormai sempre di più attraggono l’attenzione non solo degli addetti ai lavori ma anche quella dei fruitori primi dell’offerta formativa: gli studenti e le loro famiglie. Questi ranking internazionali ogni anno finiscono per apparire deludenti per l’Italia, in quanto le nostre Università non vi compaiono mai, se non intorno od oltre la 150esima posizione; e ciò magari a fronte di ottime performances ottenute in specifici settori del sapere quali ad esempio molte delle Humanities o alcune aree di Ingegneria dove qualche università italiana va ad assumere  posizione di grande prestigio o, raramente,  di preminenza assoluta.

Si tratta dunque con ogni evidenza di due aspetti che parrebbero essere molto vicini e quasi assimilabili, ma che, in modo paradossale, finiscono per divaricarsi in misura notevole: proveremo ad esaminarli separatamente per meglio comprendere quali provvedimenti potrebbero essere assunti, anche a livello di scelte politiche, per far crescere in modo significativo il dato reputazionale delle Università italiane nel mondo. 

 

  1. 1)Impatto della produzione scientifica italiana nel contesto internazionale

 

Partendo da un’analisi dei dati SciVal – Scopus, elaborati da ANVUR, e già presentati nell’ambito del Rapporto biennale pubblicato nel 2018 (1), emerge uno scenario molto interessante nonché confortante per il nostro paese.Considerando la posizione della ricerca italiana nel contesto internazionale in termini di quote di produzione e impatto scientifico delle pubblicazioni in tutte le discipline si evidenzia che, nel periodo 2001 – 2016, la crescita della produzione scientifica italiana, misurata sui dati sopra citati, è stata superiore alla media mondiale. L’Italia in altre parole e più in dettaglio ha visto aumentare progressivamente la propria quota di produzione, che, nel biennio 2015-16, ha raggiunto il 3,9% dell’intera produzione mondiale oggetto di valutazione. Nello stesso periodo i paesi europei che potremmo definire nostri competitors nell’ambito della ricerca scientifica e che godono di maggior prestigio internazionale nella ricerca quali Francia, Germania e Regno Unito, hanno visto invece una sia pur lieve diminuzione della propria quota.

Approfondendo ulteriormente la nostra analisi si può notare un incremento abbastanza costante di tutta la produzione scientifica mondiale nei primi dodici anni presi in considerazione, che vedono un incremento medio annuale all’incirca del 4%, tasso che poi tende a calare sensibilmente, fino quasi ad annullarsi, negli ultimi quattro anni. I paesi dell’Unione Europea nel periodo posto sotto osservazione mostrano una crescita media annua di circa il 4%, superiore, ma solo di qualche decimo di punto, rispetto ai paesi OCSE. L’Italia mostra tassi di crescita decisamente più sostenuti, e di conseguenza incrementa la propria quota mondiale, dal 3,4% del periodo 2001-2004 al 3,8% del quadriennio 2013-16. Proviamo adesso ad affinare la nostra analisi attraverso l’uso di un indicatore ancora più preciso: il Field Weighted Citation Impact (FWCI) .Esso tiene conto del rapporto tra le citazioni effettive e le citazioni attese, queste ultime calcolate in base alla media delle citazioni ricevute dalle pubblicazioni di una data disciplina, tenendo sotto controllo anche la tipologia e l’anno di pubblicazione. Un indicatore in altre parole che non risente delle differenze esistenti tra paesi in termini di specializzazione disciplinare e tipologia di pubblicazione. Premesso che tale indicatore consente di verificare che esiste comunque un trend di crescita del valore dell’indicatore stesso negli anni, occorre notare che con ogni probabilità esso è almeno in parte, e non minoritaria, dovuto al progressivo ampliamento della banca dati Scopus.  

Esso mostra dunque come nel periodo 2001-2016, la ricerca scientifica italiana abbia mostrato un impatto citazionale tra i più alti, con un valore dell’indicatore pari a 1,34, di poco inferiore a quello registrato dalla Germania (1,37) e lievemente superiore al dato della Francia (1,29). Nell’ultimo quadriennio l’Italia mostra performance di tutto rispetto (FWCI medio = 1,48) che la pongono al livello degli Stati Uniti e degli altri paesi anglofoni, prima di Francia e Germania, così come dei principali aggregati di paesi (OCSE e Unione Europea).

Un’ottima prestazione nel periodo più recente (2013-2016) viene registrata dalle scienze agrarie e veterinarie in Italia, le quali raggiungono ottimi livelli, superiori alla media nazionale (FWCI=1,47): l’Italia è preceduta solo da Paesi Bassi, Svizzera, Svezia e Regno Unito. Questo è un dato su cui vale la pena di riflettere, stante la vocazione, diremmo naturale, del nostro paese verso queste materie così connesse profondamente alla cosiddetta filiera dell’agro alimentare, anche declinata nei suoi aspetti di sicurezza nel campo dell’alimentazione e dei controlli di sicurezza ad esempio degli allevamenti. Tutto ciò in un’ottica di eccellenza del settore e della sua capacità di attrazione internazionale. Anche nelle Scienze della salute l’Italia mostra di posizionarsi tra i migliori paesi con un FWCI di 1,55, superiore a quello di Francia e Germania, e persino degli Stati Uniti (1,49).

Questo stesso indicatore evidenzia poi una crescita dell’Italia nelle scienze sociali, dove l’Italia è collocata in una posizione molto vicina a quella dei paesi anglosassoni e perfettamente in linea col dato aggregato dei paesi dell’Unione Europea. Apparentemente un po’ deludente invece la performance delle Humanities che decrescono da un valore di 1,05 nel primo quadriennio a un valore di 0,97 nell’ultimo. Vale qua la pena di porre un caveat su questo risultato, dal momento che in tali discipline gli indicatori di natura citazionale dovrebbero essere presi con maggiore cautela perché le loro peculiarità e la estrema varianza delle sotto aree nonché gli atteggiamenti editoriali di questi settori denotano profonde diversità nei confronti con altre Aree del sapere.

Si può quindi riassumere affermando che l’analisi dei dati Scival Scopus elaborata da ANVUR e già ampiamente esposta nel rapporto biennale 2018, mostra senza dubbio come le quote di produzione di contributi scientifici e il loro impatto nei confronti della corrispondente produzione mondiale da parte dei ricercatori italiani abbiano visto un netto incremento in tutte le discipline nel periodo 2001 – 2016, con un tassodi crescita che è stato superiore alla media mondiale. Se poi invece vogliamo esplorare in altre direzioni, anche in un’ottica di allargamento verso analisi effettuate da altri attori europei indipendenti che svolgono il proprio lavoro negli ambiti della valutazione della Ricerca, possiamo volgere il nostro sguardo nella direzione di uno studio, non ancora pubblicato ma i cui risultati sono stati comunicati dal professor Claudio Galderisi, Membro del Board dell’Agenzia Nazionale di Valutazione della Ricerca ed Educazione Superiore Francese: Haut Conseil d’Evaluation de la Recherche et de l’Education Supérieure (Hcéres), nel corso di un incontro tenutosi recentemente a Roma. Tale ampia disamina si è dispiegata proprio sui dati che emergono da uno studio degli anni successivi al 2010. Tale rapporto mostra come fra i paesi europei l’Italia è quella che ha visto più di ogni altro paese incrementare la propria produzione scientifica. Ora non si potrà negare che la cultura della valutazione abbia trovato il suo maggiore impulso proprio in quegli anni e che non sarebbe ragionevole ignorare lo stimolo significativo che essa ha avuto nei confronti del descritto incremento, sia quantitativo che qualitativo, delle ricerca in Italia.

Su questo primo aspetto dunque dell’impatto della produzione scientifica italiana nel contesto internazionale vale la pena tentare di trarre almeno un paio di riflessioni: da un lato le esperienze sia del REF inglese sia dei due successivi esercizi di Valutazione della Qualità e della Ricerca (VQR) svoltisi in Italia fra il 2006 e il 2014 sembrano attivare processi migliorativi proprio attraverso la più ampia diffusione dei risultati della propria attività. E’ a partire da questa osservazione, ma non solo, che la spinta verso una valutazione imperniata sui risultati piuttosto che sui processi si è venuta ad organizzare in modo prevalente nei vari atti di indirizzo ministeriale. Un altro spunto di necessaria riflessione scaturisce rispetto all’uso che di questi risultati viene facendo il decisore politico: con ogni evidenza, e comunque secondo quanto si evince da uno studio di Checchi e collaboratori, allorché, come è accaduto in questi anni in Italia, tali outputs vengono agganciati ai finanziamenti (come nel caso della componente incentivante della distribuzione del Fondo di Finanziamento Ordinario) si evidenzia un miglioramento dei principali rankings che descrivono la produttività e l’impatto internazionale della produzione scientifica del paese (2).

 

2)Posizionamento delle Università italiane rispetto ai principali rankings internazionali

 

L’internazionalizzazione della educazione superiore, unita ad una crescente richiesta di formazione focalizzata su competenze estremamente specifiche e continuamente sottoposte a revisione e verifica, ha spinto sempre di più l’attenzione dell’utenza dei diversi paesi verso i ranking internazionali delle Università annualmente pubblicati da vari attori. A questi peraltro sempre maggiore attenzione viene prestatadai  media che quindi influenzano sempre di più le scelte nell’ambito della educazione superiore. E’ doveroso avvisare che la formazione di una qualsivoglia graduatoria necessita di assegnare un punteggio che di volta in volta viene determinato dalla scelta di specifici indicatori. I responsabili di queste operazioni, in parte di natura culturale, in parte di natura promozionale sono spesso grandi Editori o vere e proprie Agenzie di ranking sulle quali di necessità grava l’ombra di una non irrilevante discrezionalità nelle scelte di quegli indicatori che vanno a formare i suddetti ranking e cui quindi talora può fare difetto l’ortodossia della metodologia applicata.

Abbiamo deciso di guardare in dettaglio due fra i modelli di ranking più usati e diffusi a livello internazionale: il World University Ranking del Times Higher Education e il Quacquarelli Symonds (QS); proprio di quest’ultimo fra l’altro è uscito da poco un rapporto che ha trovato ampio risalto sulla stampa nazionale: il motivo di tale ampia eco sarà meglio compreso nel seguito del presente articolo. Intanto è cruciale comprendere le notevoli differenze che distinguono le metodologie impiegate da questi due sistemi di ranking ma che comunque sono entrambe basate su una serie di indicatori abbastanza arbitrariamente scelti dai due attori e che presentano sostanziali differenze fra loro ma su cui pesa, per entrambi ed anche per diversi altri, l’ampio ricorso, come vedremo, ad indici reputazionali che possono ovviamente difettare di una piena oggettività.

Il primo dei due sistemi si basa su 13 indicatori suddivisi in cinque aree. Esse prendono in esame rispettivamente:

1 ) l’insegnamento (che pesa per il 30% sull’indicatore complessivo)

  1. 2)la ricerca (peso del 30%)
  2. 3)le citazioni (peso del 30%)
  3. 4)la internazionalizzazione (peso del 7,5%)
  4. 5)il trasferimento tecnologico (2,5%).

Per la misurazione del primo criterio si utilizza appunto una apposita indagine reputazionale a livello internazionale; si calcola poi quanto lo staff accademico ottiene di finanziamento per la propria attività. Inoltre viene valutato il rapporto tra studenti e dottori di ricerca e il corpo accademico. Il secondo gruppo, quello relativo ai risultati della ricerca  trova anch’esso una sua valutazione attraverso una simile indagine reputazionale, ma si valutano anche i finanziamenti ottenuti  e la qualità e quantità delle pubblicazioni riferite all’Istituzione, attraverso i consueti algoritmi che utilizzano la banca dati Scopus per le citazioni. Il grado di internazionalizzazione valuta ovviamente il numero di studenti e staff internazionali sul totale degli addetti ma anche i rapporti di collaborazione con istituzione straniere. Il trasferimento tecnologico è sostanzialmente il classico indicatore di Terza Missione/Impatto e come tale considera il volume finanziario generato dai proventi riferibili alla proprietà intellettuale (brevetti, spin off etc.) ottenuti a seguito delle attività di trasferimento tecnologico da parte del personale riferito all’Istituzione.

 Il ranking Quacquarelli Symonds è basato invece su sei indicatori:

  1. 1.indice reputazionale dell’Ateneo, a cui si attribuisce il 40% dello score complessivo finale; per ottenere tale indice ci sidi una indagine presso numerosi accademici di fama internazionale.
  2. 2.l’indicatore dell’occupabilità dei propri studenti, che incide per il 10% del punteggio finale.
  3. 3. Un indicatore, che pesa per il 20%, originato dal semplice calcolo del rapporto tra numero di docenti e numero di studenti.
  4. 4.Il 20% del punteggio è originato dalle citazioni per docente (Scopus).
  5. 5. la quota dei docenti internazionali (5%).
  6. 6. la quota di studenti internazionali (6%). 

Per quanto riguarda il Times Higher Education World University Ranking l’Ateneo italiano che raggiunge il ranking più elevato è la Scuola Superiore Sant’Anna di Pisa, che si colloca al 153esimo posto, seguita dalla Scuola Normale Superiore al 161esimo posto e dall’Università di Bologna alla 180esimo posto. Qui però è indispensabile segnalare una possibile distorsione del risultato, in quanto Scuola Normale e Scuola Sant’Anna, in senso stretto non potrebbero a tutti gli effetti essere considerate Università, ma Scuole di Eccellenza, e quindi non comparabili alle Università tradizionali. Disaggregando poi il dato per i 5 criteri che compongono l’indicatore aggregato, si evidenziano alcuni risultati significativi e che ripropongono invece una almeno potenziale capacità di raggiungere vertici di eccellenza da parte di alcuni nostri Atenei: l’Università Vita e Salute San Raffaele di Milano si colloca nel top 3% mondiale in termini di citazioni, mentre il Politecnico di Milano e la Scuola Sant’Anna sono su posizioni di preminenza per quanto riguarda le collaborazioni col mondo industriale. Le Università di Bolzano e Trento spiccano in termini di internazionalizzazione, probabilmente grazie anche alla loro posizione di frontiera da un punto di vista geografico e al bilinguismo sancito per statuto nel caso di Bolzano. Per Trento poi si segnala che è l’Università che, al momento in cui scriviamo, ha ottenuto la votazione più alta (“A”) nelle visite di accreditamento periodico.

Dai dati che emergono da un esame del ranking Quacquarelli Simmonds delle principali Università italiane comprese tra i primi 1000 atenei mondiali, sia a livello aggregato che per i cinque principali settori scientifici per i quali il ranking è calcolato si ricava che a livello complessivo l’Università italiana con il ranking più elevato è il Politecnico di Milano che si colloca al 156esimo posto mondiale, seguita dalla Scuola Sant’Anna in 167esima posizione, dalla Normale di Pisa al 180esimo posto. Disaggregando il dato a livello disciplinare troviamo invece due Università italiane che si attestano nella top 20 mondiale: nelle scienze sociali e manageriali la Bocconi si colloca al 16esimo posto e nell’ingegneria il Politecnico di Milano si attesta al 16esimo posto. Prendendo in considerazione una disaggregazione ancora più fine, riferita quindi ai settori scientifici, emergono posizioni di eccellenza, seppur in ambiti ristretti, in Arte e Design (Politecnico di Milano al 6° posto mondiale), in Management (Bocconi all’8° posto), Ingegneria Civile e Meccanica (in entrambi i casi il Politecnico di Milano si colloca al 7° posto) e Studi Classici : qui addirittura la Sapienza di Roma si piazza al primo posto a livello mondiale, un risultato di assoluto prestigio.

Risulta abbastanza evidente da questa sia pur sommaria analisi di due dei maggiori ranking internazionali delle Università come essi siano viziati da una certa discrezionalità derivante dal meccanismo stesso  “costruito” per così dire sulla “reputazione” di un ateneo, la quale non è esente da possibili manipolazioni riferibili a rapporti personali o capacità di disseminazione e di abilità comunicative che non sempre corrispondono ai risultati oggettivi ricavabili  dalle attività  della ricerca dell’Istituzione. Un altro limite spesso sottolineato dagli esperti è costituito dal peso di alcuni indicatori che possono influire in modo eccessivo, finendo per minimizzare quello di altri indicatori che fatalmente vedono ridotto il loro impatto. Esiste poi il problema delle dimensioni della istituzione stessa che dovrebbe essere adeguatamente ponderato. Potremmo allora indirizzare la nostra analisi in direzione di altri istituti di ranking internazionale focalizzati ad esempio in modo più specifico sulla ricerca e/o sul conseguimento di riconoscimenti internazionali (quali premi Nobel o Field medals – per esempio il ranking di Shanghai): il limite di questi ultimi però è che essi comunemente attribuiscono un peso preponderante alle materie tecnico-scientifiche. Questo non favorisce certo il posizionamento delle Università italiane che, come abbiamo visto poco sopra per quanto riguarda il primo posto conseguito da Sapienza nel QS ranking, tendono a conseguire risultati di sicura eccellenza nei settori riferibili alle Humanities. Sia chiaro che nel ravvisare qualche limite in questo sistema non intendiamo minimamente fornire un alibi alle Università italiane perché si sottraggano alla competizione che fatalmente viene evocata da questi ranking cui sempre di più gli studenti e le loro famiglie guardano con grande cura al momento di iscriversi ad una Università il cui prestigio internazionale spesso influisce in modo determinante sugli esiti occupazionale del corso di studio.

Allora per concludere cosa è possibile fare per migliorare il posizionamento dei nostri Atenei in questi rankings? Si potrebbe ripetere, come in effetti si legge spesso, che servirebbero maggiori investimenti ed una più energica politica nei confronti della nostra ricerca e comunque di tutta la formazione, non solo  superiore; questa però non può essere individuata come  l’unica scelta possibile, la quale poi non può essere ricondotta a mera volontà politica, essendo invece legata anche ai cicli economici. Un importante nodo spesso trascurato e non eccessivamente condizionato dagli investimenti è quello della internazionalizzazione, sempre molto valutata all’interno dei sistemi di ranking: in essi l’Italia finisce per non brillare mai e non solo per problemi legati alla lingua; una maggiore valorizzazione ed apertura del nostro sistema di alta formazione artistica e musicale (AFAM) finirebbe per attrarre studenti non solo di paesi emergenti ma anche e soprattutto dei paesi asiatici.

E’ infine necessario lavorare sulla costruzione di un numero più ampio e articolato di indicatori all’interno del nostro sistema educativo, che puntino a valorizzare sempre di più i risultati conseguiti, magari alleggerendo le valutazioni di processo, anche al fine di liberare sempre più energie da dedicare alla ricerca e ad una didattica più moderna e multilinguistica. In questo modo si promuoverebbe l’immagine del sistema universitario nazionale nel suo complesso, perché in un quadro competitivo sempre più serrato come è quello dell’attuale globalizzazione è solo facendo sistema che possiamo risalire quelle posizioni cui il paese ha tutto il diritto di aspirare.

 

Paolo Miccoli & Marco Malgarini

Agenzia Nazionale Valutazione Università e Ricerca (ANVUR)


BIBLIOGRAFIA

1) Rapporto biennale ANVUR 2018

2) D. Checci, M. Malgarini and S. Sarlo "Do performance-based research funding systems affect research production and impact? Higher Education Quarterly 2019, vol. 73: 45-69.