Bernard Rentier, Recteur

Ces derniers jours, suite à la sortie du classement dit « de Shanghai » des universités mondiales (« Academic Ranking of World Universities », ARWU), événement que la presse, tant en France qu’en Belgique, considère comme « très attendu et très controversé », j’ai été interviewé par plusieurs journalistes (Le Soir, L’Avenir, SudPresse). Comme toujours, la nécessaire concision des articles tronque le propos, efface les nuances et évacue le raisonnement sous-jacent, ce qui confère à mes déclarations un aspect tranché et catégorique, c’est la loi du genre. En outre, étant opposé au principe même de toute forme de classement d’universités, mon obstination à en dénoncer les effets pervers est généralement perçue comme une réaction de ‘mauvais perdant’. En fait, il n’en est rien:
a) mon jugement sur les classements n’est pas neuf, je les dénonçais déjà en 2007,
b) non seulement mon avis n’a pas varié mais il serait rigoureusement le même si la position de l’ULg était meilleure (elle n’est d’ailleurs pas mauvaise du tout: le ‘top 300‘ sur des milliers d’universités, c’est évidemment très honorable, il suffit de feuilleter la liste de celles qui nous suivent, elle est édifiante…),
C’est pourquoi je pense nécessaire de m’expliquer quelque peu.

1. Qu’est-ce que le classement ARWU ?

Il existe entre 9.000 et 17.000 institutions dans le monde qui se considèrent comme universités, selon l’International Journal of Scientometrics, Infometrics and Bibliometrics. L’ARWU en retient environ 1.000 qui présentent une des caractéristiques suivantes*:
✔ avoir dans son personnel académique un ou des lauréats du Prix Nobel ou de la Médaille Fields (mathématiques);
✔ avoir des chercheurs fréquemment cités (?) ou ayant publié dans la revue Nature ou Science (données fournies par Webofknowledge.com);
✔ avoir un nombre significatif (?) d’articles publiés indexés par le « Science Citation Index-Expanded (SCIE) » et le « Social Science Citation Index (SSCI) » (données également fournies par Webofknowledge.com)

*: l’indication « (?) » est de moi et signifie que la définition n’est pas claire ou compréhensible

Ensuite, sur la base de principes méthodologiques dans lesquels intervient le nombre de membres du staff académique** (?), le classement retient environ la moitié de ces sélections, soit 500.

**: il faut préciser que « staff académique » n’a pas nécessairement la même signification dans les pays anglophones et chez nous où on pense « corps académique ». Il s’agit chez eux, en général, de toutes les personnes qui interviennent de près ou de loin dans la formation des étudiants.

Sur cette base est calculée une « Academic Per Capita Performance« , qui correspond au poids relatif des indicateurs que je viens de citer divisé par le nombre de membres du staff académique (en équivalents temps plein).

Un score très anglo-saxon

Les Etats-Unis placent 52 de leurs universités dans les 100 premières, le Royaume-Uni 9, l’Australie 5, la Suisse 4, le Canada 4, l’Allemagne 4, la France 4, le Japon 3, la Suède 3, les Pays-Bas 3, Israël 3, le Danemark 2, la Norvège 1, la Finlande, 1, la Russie 1 et la Belgique 1 (donc 32 pour l’Europe).
Pour la Belgique, on trouve l’Université de Gand (85ème), la KUL, l’UCL et l’ULB (toutes trois quelque part entre 101 et 200*), l’Université d’Anvers et l’ULg (toutes deux entre 201 et 300) et la VUB (entre 301 et 400).

*: à partir de la 101ème position, les résultats sont groupés dans l’ordre alphabétique par groupes de 50 et à partir de la 201ème, par groupes de 100.

2. Le principe du classement des universités est absurde.

Le seul fait de vouloir classer les universités sur base de leur « performance » est un non-sens: on ne peut effectuer un classement d’objets qu’à partir d’une valeur unique attribuée à chaque objet. Si on détermine, pour une même institution, plusieurs valeurs (par exemple pour des activités d’ordre différent: enseignement, recherche, relations avec le monde extérieur, rayonnement international, etc.), on génère nécessairement plusieurs classements parallèles et différents. Étant donné la complexité des activités accomplies par les universités, des dizaines de critères peuvent être pris en considération, ce qui implique des dizaines de classements différents. Les globaliser pour obtenir un classement unique est non seulement irréaliste, mais en totale contradiction avec la rigueur méthodologique que nous essayons de transmettre à nos étudiants.

Des missions très diverses.

Les universités accomplissent diverses missions, généralement rangées en 3 catégories: enseignement, recherche et service à la collectivité. On imagine facilement qu’une université puisse être très ‘performante’* en recherche et moins en enseignement. Ou l’inverse. En amalgamant ces deux missions, sans parler de la troisième, on mélange des pommes et des poires et on obtient un chiffre qui ne correspond à rien. En outre, on peut disserter à perte de vue sur la pondération à appliquer aux différents composants…

*: en admettant qu’on arrive à définir clairement la notion de performance à propos d’une université et à s’entendre sur ce terme. J’ai de sérieux doutes à cet égard…

Des domaines très divers.

Mais l’aberration ne s’arrête pas là. Non seulement les universités effectuent simultanément plusieurs missions, mais elles se spécialisent à un très haut niveau dans des domaines extrêmement variés. On sait que chaque institution ne présente pas la même excellence en tout, il existe donc, pour chacune d’entre elles, des spécificités fortes. Ici également, regrouper l’ensemble des domaines en une valeur moyenne n’a que peu de sens et masque les points forts.

Une analogie simple.

Pour mieux me faire comprendre, je vais recourir à une comparaison caricaturale. Imaginons que quelqu’un souhaite se lancer dans le classement des êtres humains et décrète que les indicateurs de qualité ou de performance sont:
1) la taille,
2) l’aptitude au calcul mental,
3) le temps de sprint sur 100 mètres,
3) le revenu mensuel brut,
4) la capacité d’ingurgitation de saucisses de Francfort en une heure,
5) le nombre de livres lus dans sa vie et
6) le nombre d’enfants.
Chaque indicateur présente un intérêt discutable et sujet à controverse. Le caractère ‘signifiant’ de ces critères peut évidemment être mis en doute individuellement: un critère peut être considéré par certains comme majeur et par d’autres comme sans intérêt, voire même négatif. Comment concilier ces avis? Et en supposant même que tout le monde soit d’accord, quelle pondération doit-on donner à chacun d’eux? Et finalement, quelle valeur aura la cote finale unique accordée à chaque individu, donc à son classement?
On aura compris que c’est là ‘mission impossible’. Plus un sujet d’observation est complexe et présente des caractéristiques variées et indépendantes (ou faiblement dépendantes), plus il est déraisonnable de vouloir simplifier son évaluation, et absurde de le faire en une seule notation.

La tentation d’apparaître.

Seulement voilà. L’être humain est terriblement demandeur de classifications dans tous les domaines. C’est le principe populaire du « hit parade »: élémentaire, confortable et rassurant.
Le premier classé est implicitement le ‘meilleur’ et le dernier est implicitement le ‘moins bon’. Le transfert vers la presse transforme l’implicite en explicite.
En outre, les classements piquent l’amour-propre. Après un tollé sonore provenant essentiellement des universités non anglophones, incontestablement dédaignées par tous les classements mondiaux, et un appel au boycott dans différents pays, on a assisté à des réactions visant à tenter de remonter dans les classements et d’y faire bonne figure. Dans ‘Le Monde’ du 15 août 2013, jour-même de la publication du classement de Shanghai, on lit: « L’université de Strasbourg (97e) intègre le Top 100 en raison du prix Nobel attribué, en 2011, à l’un de ses chercheurs, Jules Hoffmann. En 2012, cette distinction avait été ‘oubliée’ par le classement de Shanghai, qui a corrigé le tir après une protestation du ministère français de l’enseignement supérieur. L’Ecole normale supérieure de Lyon tire, elle aussi, le bénéfice de la médaille Fields attribuée, en 2010, au mathématicien Cédric Villani, et se place dans les 300 premières mondiales après que l’intéressé lui-même et le ministère eurent rappelé cette distinction à l’équipe de l’université Jiaotong. »
Mais attention: dès lors qu’elle cherche à rectifier ce qu’elle considère comme une erreur de positionnement dans le classement pour ce qui la concerne, une université accorde ipso facto une validation à la démarche de classement. Il lui devient ensuite impossible d’en contester le principe et la méthode. C’est un des pièges des « rankings ».

3. La méthode pose problème.

Considérons qu’il ne soit pas ou plus aujourd’hui possible de faire marche arrière. D’aucuns considèrent que puisque « ces classements existent, il faut bien les prendre en considération. » Je ne partage pas ce point de vue: ce n’est pas parce qu’un concept prévaut dans l’opinion qu’il faut s’aligner et l’adopter. Mais jouons le jeu. Analysons la méthode employée. Les choses ne s’arrangent pas…

Un choix de critères surprenant.

Même si on admet le principe et la nécessité de faire des classements, on est immédiatement frappé par le côté subjectif de l’analyse. Toute tentative d’objectiver le subjectif est périlleuse et souvent vouée a l’échec. Par son côté rassurant, l’objectivation, surtout si elle est numérique, se pare d’un caractère incontestable. Le leurre de l’objectivation par les chiffres fonctionne ici à plein. Mais on ne peut se priver de l’examen du bien fondé:
1) du choix des critères,
2) de la décision de leur attribuer une valeur positive ou négative,
3) du poids relatif à leur attribuer.

Les critères utilisés (Nobel/Fields, Nature/Science, SCIE/SSCI) sont étonnants, comme leur poids relatif. Le biais en faveur de l’activité de recherche est manifeste. Ça peut se défendre, mais il faut que ce soit clairement assumé.

Beaucoup de questions restent ouvertes: le nombre d’étudiants fréquentant l’université évaluée devrait-il être pris en compte? Si il l’est, constitue-t-il un élément positif, reflétant l’importance de l’institution? Ou négatif, en raison de la charge que ces étudiants représentent et qui distrait les encadrants de la recherche? Ce n’est pas clair.
Un journal m’a fait dire « les grosses universités avec beaucoup d’étu­diants ont plus de chance d’être en haut du classement » Je n’ai pas dit ça et je ne le pense pas: les universités les mieux classées sont de loin les plus sélectives. Il y a moins d’étudiants à Harvard (19.000) qu’à l’ULg (22.000)! Mais il faut aussi mentionner que les droits d’inscription y sont 60 fois plus élevés… L’ULg n’a évidemment pas la prétention de jouer dans la même division que Harvard, une université qui jouit d’un prestige mondial exceptionnel lui assurant des enseignants et des étudiants hors-norme. Son nom est même devenu synonyme d’université de premier plan. Mais l’ULg et les autres universités belges la devanceraient certainement dans un classement qui serait basé sur l’ouverture sociale et l’accessibilité… En les alignant dans le même classement, on compare donc bien des pommes et des poires.

Nombre d’étudiants inscrits dans les 100 premières universités du classement ARWU (Radius-ULg). L’effet de nombre n’est guère significatif.

En fait de critères, le taux d’encadrement semblerait bien plus significatif, de même que les moyens financiers dont l’institution dispose, les facilités d’hébergement et de transport, l’accessibilité pour les personnes à mobilité réduite, les installations sportives gratuites ou peu coûteuses, le soutien pédagogique mis à disposition de l’étudiant, la qualité alimentaire des restaurants universitaires, la disponibilité de salles d’étude et d’équipement informatique, etc. (tout cela étant évidemment corrélé directement aux moyens financiers). Voilà une série de critères sur lesquels tout le monde s’accordera quant à leur contribution positive à l’évaluation. La difficulté surgit lorsqu’il s’agit d’affecter ces critères d’un facteur de pondération. L’encadrement est-il plus important que la disponibilité d’activités sportives? Ou est-ce l’inverse?

Admettons qu’on arrive à s’accorder là-dessus. Que dire de l’évaluation de l’enseignement? Ou de la recherche? Comment en choisir les critères? Comment déterminer le niveau? Qui le fait, et sur quelle base? Les enquêteurs de l’ARWU ne consultent personne dans les universités*, contrairement aux autres opérateurs comme QS ou THE qui établissent un dialogue. Ils obtiennent leurs informations auprès d’organismes tels que: « National Ministry of Education, National Bureau of Statistics, National Association of Universities and Colleges, National Rector’s Conference ».
On ne peut, dans ce cas, que fonctionner sur base de la réputation, et de l’oui-dire. Le classement devient alors totalement subjectif, lié au niveau d’introduction de l’université dans le cénacle des évaluateurs et l’efficacité de son lobbying.

*: en fait, depuis quelque temps, ils consultent sur certains points mais, curieusement, ne se servent pas des réponses pour établir le classement.

De nombreuses critiques.

Je ne suis évidemment pas le seul à dénoncer les travers méthodologiques des classements en général et de l’ARWU en particulier. L’ULB comme l’UCL se sont clairement exprimées. La revue Nature elle-même, pourtant prise en référence par l’ARWU, disait en 2007: « Experts argue that [the rankings] are based on dubious methodology and spurious data, yet they have huge influence. All current university rankings are flawed to some extent; most, fundamentally », Ioannidis et al. en 2007, Billaut, Bouyssou & Vincke en 2009 ou Samarasekera & Amrhein en 2010 en ont critiqué les multiples défauts. De son côté, l’Union Européenne s’est prononcée contre le biais anglophone et a annoncé en 2010 l’élaboration, sous son égide, d’une analyse critère par critère: U-Multirank.

4. Un classement, pour quoi faire?

La contestation argumentée du bien-fondé des classements en premier lieu, de la méthodologie appliquée ensuite, devrait avoir eu raison de leur existence et de leur validité, donc de leur intérêt. On constate que les classements sont utilisés pour des raisons diverses, pas nécessairement celles pour lesquelles ils ont été développés au départ. Cela va du choix des relations internationales et de la sélection de partenaires, jusqu’au choix d’une institution pour y faire ses études. En cela, le classement de l’ARWU est très mal adapté.
Mais ce n’est pas tout, un autre élément intervient, c’est l’interprétation qu’on leur donne. La presse présente généralement les choses de façon trop simple et il faut la comprendre: on lui sert un classement pré-mâché en lui laissant penser qu’il s’agit d’un travail scientifique rigoureux, objectif et incontestable (surtout s’il provient d’une université). C’est pourquoi le démontage qui précède est nécessaire.
Le très grand défaut d’un classement est qu’il laisse croire que le 50ème est ‘meilleur’ que le 51ème, ce qui est tout-à-fait contestable.

Dans le cas de l’ARWU 2013, le classement par blocs de 100 au delà de la 100ème place laisse penser qu’il existe des ex æquo. La manchette du Soir vendredi était éclairante à cet égard: « L’ULB désormais ex æquo avec l’UCL« . La journaliste les a vues toutes deux à la 101ème place, donc ex æquo entre elles et avec la KUL, confusion qu’on retrouve dans la video du Soir. En fait, personne ne sait si l’une n’est pas 101ème et l’autre 200ème…! Interprétation extrême, mais possible. De même, personne ne peut savoir si ce qui est considéré comme une stagnation de l’ULg en 201ème position n’est pas un progrès de la 300ème à la 201ème, ou peut-être l’inverse, une chute au sein du ‘peloton’ 201-300.
En fait, et toujours si on valide l’idée-même de classement, le fait de procéder par ‘paquets’ de 100 est, en soi, une assez bonne idée qui sera d’ailleurs, sous une autre forme, reprise par l’opérateur privé QS dans sa nouvelle formule annoncée: « QS Star« . Celle-ci accordera de 1 à 5 étoiles aux universités, une initiative intéressante, mais évidemment affublée des travers tant de principe que méthodologiques qui affectent les autres classements désormais ‘traditionnels’. Les ‘paquets’ permettent de neutraliser la tentation de donner une signification à des écarts infimes, bien plus ténus que ce que permet la méthode utilisée. Malheureusement, cet effet ne disparaît pas et est, au contraire, plus marqué aux limites entre les ‘paquets’. L’écart entre le 201ème et le 301ème n’est peut-être que de 1.

Le classement par pays.

Par ailleurs, prendre un vaste classement international de 500 universités et en extraire les belges pour en faire un ‘classement belge’ est tentant, mais méthodologiquement très discutable.
Un classement plus ciblé est aussi proposé par discipline. L’écueil de la diversité des matières est estompé dans ce cas, mais le reste des critiques continue à s’appliquer.

Des interprétations elliptiques.

Les conclusions des classements — parfois expéditives ou même erronées — que tire la presse internationale aggravent encore la situation. Elles donnent du crédit à la démarche et poussent les universités à réagir. On peut considérer que c’est une bonne chose et que cela sort les universités d’une autosatisfaction tranquille dans laquelle on les accuse parfois de se complaire. Personnellement, je suis en faveur des processus d’évaluation et il me semble normal que les universités s’y soumettent. Elles ne doivent cependant pas tomber dans le piège du prêt-à-penser et tenter, pour grimper dans les classements, d’améliorer des critères qui ne correspondent pas aux valeurs qu’elles se sont données. Le risque d’uniformisation selon les standards de valeur américains est évident et nous menace directement.

Un non-événement

Si l’on examine les dix derniers résultats du classement ERWU (2004-2013), on constate une grande stabilité:
• l’ULg a toujours été classée entre 201 et 300;
• l’UCL a toujours été classée entre 101 et 150;
• l’ULB a toujours été classée entre 101 et 150, sauf en 2012 (150-200);
• la KUL a toujours été classée entre 101 et 150;
• l’UGent a toujours été classée entre 101 et 150, sauf en 2004 (100è) et depuis 2010 (90è, 89è, 89è, 85è);
• l’UA a toujours été classée entre 201 et 300;
• la VUB a toujours été classée entre 301 et 400, sauf en 2005 et 2010-12 (401-500).
Par conséquent, hormis la croissance de l’UGent, les fluctuations de la VUB et un petit écart de l’ULB l’an dernier, en dix ans, rien de nouveau sous le soleil de Shanghai…!

5. Conclusion

Chaque institution doit se définir, en connaissance de cause, en vertu de ses points forts mais aussi des points faibles qu’elle doit déterminer objectivement. Elle doit se définir en fonction des caractéristiques qu’elle possède et celles qu’elle voudrait acquérir ou améliorer. Elle doit communiquer sur ces objectifs et éviter de laisser faire ce travail par un organisme extérieur insensible à la diversité culturelle qui reste essentielle dans le monde universitaire.

Je me fais rare sur mon blog. Il est vrai que l’implication de l’ULg dans une multitude croissante d’interactions avec le milieu économique et social m’empêche de consacrer le temps que je souhaiterais à cette rédaction.
Je reste toutefois très actif sur les réseaux sociaux qui sont incontestablement en train de supplanter celui qui est aujourd’hui devenu le « vieux » blog, déjà un peu désuet…

C’est ainsi que vous trouverez mes interventions récentes sur les sujets liés de plus ou moins près à l’ULg via Scoop.it « Université de Liège, vue côté Recteur ».

Par ailleurs, j’y relate également des informations qui me semblent dignes d’intérêt en matière d’accès libre aux publications scientifiques, ainsi que sur les classements et évaluations.

Nos approchons des 18.000 références dans ORBi, dont 72% en full text.

Plus encore que le nombre d’entrées, c’est le nombre de textes complets qui importe. En effet, on pourrait se satisfaire d’une liste bibliographique qui permettrait à l’Université de disposer des titres et métadonnées simples de la production scientifique de ses chercheurs, mais on manquerait alors une formidable occasion de rendre accessible la vraie matière à tous ceux que ça intéresse. En effet, il est indispensable pour cela que le contenu soit complet, voire même agrémenté de données complémentaires de toutes sortes (données brutes, photos, films, enregistrements sonores, etc). Il faut également que les moteurs de recherche viennent retrouver les mots-clés au sein même des textes qui doivent donc être entièrement lisibles.

Nous pouvons être fiers de la technologie qui a été mise au point pour ORBi et de la large compréhension dont chacun a fait preuve même si, au début, beaucoup rechignaient à se plier à l’exercice. Ceux qui l’ont fait savent aujourd’hui combien il leur sera facile de continuer à alimenter le dépôt au fur et à mesure de la sortie de leurs publications.

Nous pouvons être fiers également du travail d’expert qui a été accompli par l’équipe du Réseau des Bibliothèques car cette qualité se fait nettement sentir. Contrairement à beaucoup d’autres universités qui ont confié l’encodage à des employés temporaires, à des étudiants jobistes et aux bibliothécaires qui s’acquittent de cette tâche sur base d’informations fournies par les chercheurs en format papier sans réel souci d’harmonisation préalable, nous avons fait reposer la rigueur sur les personnes les plus concernées (dès qu’elle ont compris qu’elle l’étaient!). Ces institutions atteignent donc à peine 20% de documents en full text, elle dépensent de lourdes sommes dans ce contexte pour un résultat décevant avec le risque d’essouflement des équipes et de découragement des chercheurs. Notre approche est certes, au départ, moins populaire auprès de ceux-ci, mais elle se révèle en définitive payante pour tout le monde, et efficace.

Le registre des dépôts en accès libre (Registry of Open Access Repositories, ROAR) nous place en 54è position pour le nombre total de références parmi les 802 répertoires institutionnels connus (c’est là un ranking objectif, basé sur un seul critère, donc acceptable! ).

—————————————————

« It is one of the noblest duties of a university to advance knowledge and to diffuse it, not merely among those who can attend the daily lectures, but far and wide ».
(Daniel Coit Gilman, first President, Johns Hopkins University, 1878)

« An institutional repository …
• fulfils a university’s mission to engender, encourage and disseminate scholarly work;
• gathers a complete record of its intellectual effort;
• provides a permanent record of all digital output;
• acts as a research management tool;
• is a marketing tool for universities;
• provides maximum Web impact for the institution ».
(Alma Swan, Key Perspectives, 2009)

La profondeur de mon silence sur ce blog est généralement en relation inverse avec le nombre et l’importance des événements qui marquent notre vie universitaire, malheureusement. Ces derniers jours en ont donné une nouvelle preuve.

Jane Goodall
La spécialiste mondiale des chimpanzés, véritable idole de très nombreux éthologistes et naturalistes du monde entier, était dans nos murs lundi dernier, pour une très belle conférence sur la conservation de la nature et le parcours qui l’a amenée à prendre fait et cause pour la défense de la planète. Immense succès puisque la Salle académique était archi-pleine et qu’il a fallu retransmettre la conférence en vidéo dans une seconde salle. Le Prince Laurent nous avait même gratifié d’une visite-surprise. Jane Goodall devait être des nôtres pour être faite docteur honoris causa de l’ULg le 26 mars prochain. Comme elle ne pourra être présente, j’ai eu l’honneur de lui remettre ses insignes avec un peu d’avance lors de cette séance très appréciée.

Dans un même ordre d’idées, je signale que le professeur Pachauri, prix Nobel 2007 pour le GIEC, docteur honoris causa de l’ULg en 2008, sera parmi nous le 31 mars prochain dans la matinée et qu’il donnera une conférence aux Amphis de l’Europe à 10h.

The Scientist
Le célèbre magazine américain des sciences du vivant a fait une enquête auprès de ses lecteurs et leur a demandé quelle université ou centre de recherches leur avait semblé le meilleur pour y réaliser un « post-doc ». Il publie la liste des dix premiers hors-USA et l’ULg se trouve en 9è position mondiale.
Evidemment, je suis très mal placé pour pousser un cocorico puisque j’ai toujours critiqué le principe-même des « rankings » d’universités ! Mes critiques s’articulaient sur trois points : le caractère subjectif qu’induit le principe de notoriété, le biais introduit par la possibilité de lobbying de l’institution (ne serait-ce que parce qu’elle doit apporter des données chiffrées aux enquêteurs) et surtout le nombreuses anomalies et aberrations dans la méthodologie générale des classements.
Alors, aujourd’hui, lorsque l’ULg est incroyablement bien classée, serais-je plus clément ? Donnerai-je raison à ceux qui me reprochaient d’être contre les classements parce que nous étions mal classés ? (nous ne sommes jamais mal classés, mais toujours assez loin parmi les belges).
Bien sûr que non. Je dirai simplement qu’ici, c’est un test qui porte exclusivement sur la subjectivité et qui est donc hautement critiquable à cet égard. Il n’est basé que sur ceux qui ont répondu à l’appel, ce qui biaise évidemment le test. Il est cependant ciblé sur une catégorie étroite de gens (ceux qui ont fait un post-doc à l’étranger) et il ne repose que sur l’avis de ces chercheurs, non sur des données collectées auprès de l’institution… On ne peut donc rester insensible au compliment adressé à l’ULg par ceux qui y sont passés. Merci à eux !
J’ajouterai que les efforts consentis par notre université pour rassembler de manière efficace ses forces vives en matière de sciences du vivant ne sont probablement pas sans rapport avec la bonne impression des chercheurs.
Maintenant, il nous reste à affronter la nuée de candidatures de post-docs venant de partout… !

Une de mes interviews peut être réentendue en podcast sur Cocktail Curieux (RTBF « La Première ») du 4 mars 2009.

Uppsala-Cracovie-Liège
Au cas où l’UCL perdrait son C*, nous pourrions revendiquer le sigle pour notre nouvelle association tripartite entre l’Université d’Uppsala en Suède, l’Université Jagiellone de Cracovie en Pologne et l’Université de Liège. Lors de la rencontre des trois recteurs (cinq si on y ajoute la rectrice des universités agro-vétérinaires d’Uppsala et de Cracovie) à Colonster jeudi dernier, les nombreuses similitudes et complémentarités entre nos institutions sont apparues clairement et nous avons convenu de prolonger l’effort pour établir une relation triangulaire forte entre nous. Une prochaine rencontre devrait avoir lieu en Pologne dans quelques mois.
*Tout compte fait, pour le sigle, c’est non : il faudrait aussi que l’University of Central London abandonne une lettre…

Assises de la recherche
Le bilan de la recherche en CFB et les perspectives d’avenir, qui faisaient l’objet des Assises de la Recherche de la Ministre M.-D. Simonet, ont recueilli un succès certain et une grande affluence qui rendait ainsi hommage aux efforts incontestables que la Ministre a déployé durant les 5 années de la législature pour améliorer le soutien à la recherche. Affluence qui contrastait avec la présence d’un journaliste isolé lors du point-presse qui précédait l’évènement… La recherche n’intéresse encore que les chercheurs et, heureusement, quelques politiques.

Restaurant
Pas de première pierre depuis douze ans à l’ULg… C’est dire l’importance de l’évènement de vendredi dernier, même si la pierre n’était que virtuelle et symbolique. Peu importe, ce qui compte, c’est que les travaux ont commencé et que le nouveau restaurant « écologique » sera accessible à la rentrée de 2010 et qu’il fera partie d’un vaste réaménagement de toute la zone Nord du Domaine du Sart Tilman (bâtiment d’accueil à l’entrée, voies piétonnes et cyclistes, cafétarias, agrandissement du B52 Ingénieurs, etc). Enfin, ça bouge !

Séance des FNRS
Sympathique accueil, devenu maintenant traditionnel chez nous, des nouveaux chercheurs FNRS par les anciens, cette année en présence de la nouvelle Secrétaire générale, Véronique Halloin, qui s’est déplacée pour partager ces moments de convivalités avec « ses » chercheurs.

« C’est notre terre »
Une magnifique exposition est à voir absolument dans les souterrains Tour & Taxis à Bruxelles si vous ne l’avez déjà fait. Elle convient à tous les âges et fait preuve d’un talent pédagogique exceptionnel qui ne nous étonnera pas puisqu’un des deux scénaristes n’est autres qu’Henri Dupuis qui est aussi le rédac’ chef de notre magazine web Reflexions. La contribution scientifique liégeoise y est massive comme en témoigne la liste des spécialistes consultés et les crédits de prêt de pièces scientifiques. Je vous recommande chaudement cette visite.

Foire du Livre
Succès dimanche pour le livre de Nicolas Ancion Retrouver ses facultés à la Foire du Livre de Bruxelles. La présence de l’auteur au débat intitulé « Peut-on rire de l’Université ? » et sans doute surtout celle de Pierre Kroll, illustrateur du livre, étaient sans doute pour beaucoup dans ce succès de foule et la longue file à la signature d’autographes !
Oui, on peut aussi rire de l’université, comme de tout d’ailleurs, du moment qu’on ne blesse personne, mais en publiant l’ouvrage, les Editions de l’ULg ont montré que rien n’est plus percutant (et surprenant, pour beaucoup) que l’auto-dérision.

A lire, l’excellent commentaire (en pdf) de mon collègue Philippe Vincke, recteur de l’ULB, probablement le mieux placé des recteurs d’universités belges francophones pour critiquer la désastreuse méthodologie du THES (voir billet précédent), puisque son institution avance de 11 places dans le classement…

A titre indicatif, le graphique ci-dessous donnera, mieux que tout discours, une idée du manque de fiabilité de la méthode.

Pour bien comprendre, il faut savoir qu’en 2004, il existait une confusion entre les universités francophones et néerlandophones de Bruxelles et de Louvain, qu’en 2006, l’ULB a pâti d’une erreur des enquêteurs qui lui ont attribué un nombre d’étudiants double de la réalité, l’ULg, elle, bénéficiait d’une erreur qui plaçait son minerval étudiant à 0 € (au lieu de 759 € !) alors que ceux de l’ULB et de l’UCL étaient rapportés à 6.250 € et 5.200 € respectivement! Et comme je l’ai déjà dit dans le billet précédent, trois de nos facultés ont été « omises » en 2007. Sans compter les erreurs non détectées.

Tout ceci laisse peu de crédit à cette évaluation, si ce n’est qu’à la « grosse louche », les 3 universités complètes de la CFB sont dans le top 300 (sur 5.100 universités), ce qui est plus qu’honorable) et confirmé par le classement de Shanghaï en 2005.

Et là-dessus, le magazine The Scientist, dans son enquête de novembre 2007, place la Belgique en n°1 des pays où il fait bon faire de la recherche, devant les USA et le Canada! Sans toutefois préciser si c’est en Flandre ou en Communauté française…

Nous sommes bel et bien entrés dans l’ère des hit parades.

Le « classement 2007 des 200 meilleures universités du monde » publié par le supplément “Higher Education” du Times, le THES World Universty Rankings est paru ce vendredi*.

C’est un peu comme le Beaujolais. Tout le monde l’attend, à la date annoncée, le suspense savamment entretenu est intenable. Tout le monde sait que, en termes œnologiques, ce ne sera pas bon, que ce sera bien évidemment contraire à toutes les règles de qualité, aucun vin ne se buvant décemment dans l’année, mais la fièvre monte quand même jusqu’au dernier jour de l’attente. Et les ventes sont proportionnelles à la fébrilité astucieusement provoquée.

Pour le ranking du THES, il en va de même. On sait d’avance que ce sera truffé d’erreurs matérielles, parfois énormes, on sait d’avance que ce sera marqué par un gigantesque biais anglophone, on sait d’avance que ce sera largement subjectif et aléatoire, on sait d’avance que cela résumera chaque université par un seul chiffre, mais néanmoins l’engouement persiste et chaque université dans le monde attend le verdict avec anxiété.

Cette année, on ne sera pas déçu : on n’en aura toujours pas plus pour son argent, ni pour son stress. Harvard, Cambridge, Oxford et Yale restent en tête comme il se doit, et on n’aura aucune surprise dans les vingt-et-quelques premiers. Par contre, grand désordre au sein des universités belges. La KUL passe devant les autres et fait un bond de 35 places, de la 96ème à la 61è. L’UCL, qui était en 76è position l’an dernier, se retrouve 123è après une chute de 47 places, juste devant Gand, 124è, qui avance de 17 cases. L’ULB grimpe de 11 places (de 165è à 154è) et Anvers apparaît pour la première fois dans le top 200 à la 187è place. Selon nos informations, obtenues auprès des responsables de ce travail de classement, l’ULg, tout juste hors-classement l’an dernier, se retrouve 262è cette fois ci, après une dégringolade de 61 places.

Mais autant je ne m’étais pas, au nom de mon université, enorgueilli de notre progression d’une centaine de places en 2006, autant je ne m’affole pas du recul de cette année, ces montagnes russes n’ayant guère de sens ni de vraisemblance.
Un tel classement pourrait présenter un intérêt s’il permettait à chaque institution de mesurer exactement ses faiblesses et ainsi de redresser la barre, mais des flottements aussi erratiques ne permettent de rien conclure et, hélas, en disent long sur le manque de sérieux d’une compétition beaucoup trop prise au sérieux.

Les auteurs du classement ne sont pas avares de renseignements lorsqu’on les leur demande, ce qui est fort sympathique au demeurant. C’est comme cela que nous avons repéré qu’apparemment, pour l’évaluation de la production scientifique, le classement aurait tout simplement omis le fait que l’ULg possède une Faculté de Sciences, une Faculté de Médecine et une Faculté de Médecine vétérinaire, soit plus de 60% de notre production de recherche dans des revues internationales cotées. Et qui sait si la chute tout aussi inexplicable de l’UCL n’est pas liée à un “oubli” de ce genre…

Il y a quelques mois, j’écrivais dans ces lignes: “Oublions les rankings”. C’est en effet ce qu’ils méritent.
Malheureusement, nous serions les seuls à les oublier.
J’ignore l’impact réel de ces classements, mais j’ai eu vent du caractère déterminant qu’ils peuvent avoir sur le choix d’une université pour les étudiants étrangers. Que ce le soit chez peu ou beaucoup d’entre eux est difficilement évaluable.

Alors, il est plus que temps que l’Union européenne, les universités européennes hors Royaume-Uni étant assez mal positionnées dans les tout premiers de ce classement, se ressaisisse et propose elle-même une solution plus rigoureuse. On entend dire que cela pourrait être bientôt le cas. Nous espérons en tout cas y contribuer pour le volet “production scientifique” en élaborant des instruments de mesure plus appropriés dans le cadre d’EurOpenScholar dont je vous parlais dans mon avant-dernier billet.

Et maintenant, pour s’amuser, une petite analyse superficielle qui est peut-être plus indicative des biais de la méthode que de la qualité réelle des universités et qui mettra un peu de baume sur les cœurs européens…
On voit, dans le graphique suivant, en subdivisant les 200 en tranches de 50, que si les USA-Canada « trustent » confortablement les 50 premières places (46%), ils sont rapidement dépassés par les européens qui, eux, occupent 44% du « top 200″.

* http://www.thes.co.uk/worldrankings/. Mais pour lire, il faut soit être abonné, soit demander un essai gratuit de 14 jours.

Il est surprenant de constater le temps qu’il aura fallu pour que des institutions de grande qualité scientifique finissent par contester les méthodes ridiculement inadéquates qui sont employées pour les juger et les classer.

Voici enfin qu’un boycott des « rankings » est proposé par un groupe d’universités américaines. Il est commenté par D. Butler dans la revue Nature (447, 514-515, 31 May 2007) et par S. Harnad ce 3 juin dans l’American Scientist Open Access Forum.

En Europe, les voix ont été plus discrètes. Rares sont ceux d’entre nous qui ont rejeté d’emblée les « rankings » sur base de leur médiocrité scientifique, beaucoup ont accepté ces classements comme incontournables, certains ont même essayé de manipuler les chiffres à leur avantage et personne n’a vraiment réussi à convaincre la presse d’ignorer ces informations.

En substance, l’analyse de Nature est la suivante: « Experts argue that [the rankings] are based on dubious methodology and spurious data, yet they have huge influence. All current university rankings are flawed to some extent; most, fundamentally ».

Les auteurs défendent un point de vue qui est le mien depuis le début: aucun classement, que ce soit celui du U.S. News & World Report, celui du British Times Higher Education Supplement (THES) ou celui de la Jiao Tong University à Shanghai, pour citer les plus connus, n’est basé sur des critères ni sur une méthodologie irréprochables, loin s’en faut. Quant aux données du Thomson Scientific’s ISI citation data, elles sont inutilisables pour opérer des classements — le nom d’une même institution s’écrit de manière différente dans différents articles, voire même est mal orthographié ou complètement omis selon les cas — et elles ne concernent que les publications.

La conclusion est nette, les rankings, dans leur forme actuelle, sont purement et simplement à oublier.

Le Vif/L’Express a publié hier, dans son courrier des lecteurs, ma réaction à sa publication de la semaine dernière sur les classements d’universités. Pour des raisons de place, il n’a gardé que les trois derniers paragraphes. La voici en entier.

L’être humain souffre du syndrome du hit parade. Il aime les classements. Ça le rassure.
Mais certaines choses sont inclassables et les universités sont de celles-là.

Je reste partisan d’études qui permettraient d’arriver à un consensus entre universités dans le monde entier quant aux critères à utiliser et à la manière de collationner et traiter les données pour enfin constituer une évaluation équitable et réellement utile. A condition de s’imposer de ne pas publier de hit parade simpliste et forcément réducteur.

Après la boutade de mon affichage précédent, je tiens à revenir plus sérieusement sur le fond du problème de classement international des universités.

Il est vrai que le classement du Times Higher Education Supplement (THES) pèche essentiellement par le fait qu’il résume chaque université à un seul chiffre après avoir tenté d’évaluer de très nombreux critères, objectifs et subjectifs, très différents les uns des autres. Comme il désire faire un classement unique, il y est bien obligé. Pour obtenir ce chiffre, il faut faire une sorte de moyenne en donnant un poids relatif à chacun des critères. L’approche d’Henry Tulkens consiste à remettre en cause ce poids relatif et à établir une nouvelle pondération qui tienne mieux compte des réalités universitaires. En soi, cette préoccupation est très louable. Personnellement, je suis aussi preneur d’une méthode plus adaptée, si — et puisque — il faut vraiment entrer dans l’ère des classements.

Mais alors, je pense qu’il fallait aller plus loin, et dénoncer non seulement le poids relatif accordé aux critères, mais leur rassemblement en une seule valeur. On peut faire un classement des universités sur la qualité des logements, la beauté du campus ou son intégration urbaine, le rapport encadrants-encadrés, la qualité de la formation de ses ingénieurs, de ses médecins, de ses juristes OU de ses philologues, le nombre de ses Prix Nobel, le nombre de ses entreprises spin-off, le nombre de livres dans ses bibliothèques, le nombre de mètres carrés, d’arbres ou de places de parking par étudiant, etc. Mais tous ces classements n’ont que l’intérêt de ce qu’ils représentent et ne sont pas mélangeables ni moyennables. Il faut donc maintenir des classements séparés, pour qu’ils restent réellement informatifs, pour que chacun y trouve exactement ce qu’il cherche, si tant est que c’est à cela que doivent servir les classements…

Le choc ne venait pas de l’initiative compréhensible de notre collègue Tulkens, il venait du traitement de son travail par un hebdomadaire qui ne nous a pas habitués à des dérives sensationnalistes en cette matière et qui n’a guère fait dans le détail cette fois-ci. J’écris par ailleurs au journal pour y défendre ce point de vue.

Placée en 201è position en 2006, l’ULg a échappé au retraitement des données par l’étude de l’UCL qui n’a concerné que les 200 premières institutions selon le THES. Je ne sais donc ce que cela aurait donné mais cela m’importe peu. Quel que soit le sérieux qu’on puisse appliquer à cette manipulation des données, elle reste toujours une manipulation et elle prête forcément le flanc à la critique. On pourra toujours lui reprocher de servir un propos délibéré, surtout quand, dans toute sa subjectivité, elle sert l’institution de l’auteur, suscitant ainsi la suspicion.

Il est temps que les universités s’entendent sur le moyen de donner au public des informations sur leurs qualités et défauts respectifs de la manière la plus objective qui soit, sans faire d’amalgame et sans simplification réductrice.

On ne peut résumer une université à un chiffre et encore moins à une position dans un hit parade.

Les lecteurs de ce blog savent ce que je pense des classements d’universités.
J’ai lu l’article du Vif-L’Express de ce vendredi 11 mai « Le Palmarès qui change tout » annonçant qu’après avoir retraité a posteriori les chiffres du Times Higher Education Supplement, le Prof. H. Tulkens (UCL) avait sauvé l’honneur de la Belgique francophone en général et celui de l’UCL en particulier, la faisant remonter de la 76e à la 35e place au niveau mondial.
J’ai lu l’article de 7sur7 et les commentaires de ses lecteurs.
J’ai également lu avec intérêt l’article (en PDF et en Open Access mais malheureusement non revu par des pairs) de M. Tulkens.

Bien qu’il ait recours à une méthode qui est exactement à l’opposé de la rigueur scientifique que nous essayons d’inculquer à nos étudiants (on ne bricole pas les données des autres en en changeant l’objet et la méthode de traitement pour en tirer des conclusions qui servent son propos et ses intérêts!), j’ai décidé d’appliquer les méthodes de M. Tulkens à une autre question brûlante, ce qui me donne l’occasion de vous annoncer une excellente nouvelle qui, j’espère, fera la « Une » de la prochaine édition du Vif.

Si on compte le total des points remportés, au lieu d’utiliser la méthode biscornue et discutable des jeux et sets généralement employée au tennis, j’ai le plaisir de vous annoncer que, le 31 mars dernier, Justine Henin a battu Serena Williams et a donc remporté le tournoi de Miami 2007!

Cocorico!
Il est quand-même bien agréable de se faire plaisir!