Le Vif/L’Express a publié hier, dans son courrier des lecteurs, ma réaction à sa publication de la semaine dernière sur les classements d’universités. Pour des raisons de place, il n’a gardé que les trois derniers paragraphes. La voici en entier.

L’être humain souffre du syndrome du hit parade. Il aime les classements. Ça le rassure.
Mais certaines choses sont inclassables et les universités sont de celles-là.

On ne peut classer aisément que les choses auxquelles il est possible d’attribuer une note chiffrée et seulement si un seul critère objectif est pris en compte. On peut, par exemple, classer des livres d’après le nombre d’exemplaires vendus. C’est objectif, encore que cela ne donne guère d’indications directes sur la qualité de l’œuvre. On peut supposer que l’achat est vaguement en relation avec une certaine qualité, mais il faut bien admettre que beaucoup d’autres facteurs interviennent, tels que les moyens publicitaires consentis par l’éditeur, la campagne médiatique organisée lors de la sortie du livre, etc.

Si un deuxième critère indépendant intervient, les choses se compliquent. Comment décider du poids relatif à lui accorder ? Et si ce critère est subjectif, c’est pire. Imaginons qu’on décide d’évaluer la qualité poétique de l’ouvrage. Le classement sera difficile et dépendra énormément du juge. La combinaison des deux critères devient presque impossible. Et si on s’y aventure malgré tout, quelle est alors sa véritable signification et comment l’exprimer ?

Il en va de même avec les universités. On peut dénombrer les étudiants, c’est un critère objectif, mais qui ne donne guère d’indication utile sur leur qualité.
Si toutefois nous ajoutons un autre critère, la qualité de la recherche par exemple, on se retrouve dans la situation décrite plus haut : comment mesurer le poids respectif d’un critère objectif et d’un autre, subjectif ? (même s’il existe des mesures de la recherche, c’est encore une tâche impossible pour l’ensemble des domaines couverts par une université complète).

On voit donc bien où réside le problème. Mais c’est encore peu de chose. Une université se caractérise non par deux, mais par des dizaines de critères, objectifs (nombre d’étudiants, nombre d’encadrants, revenus financiers, espace disponible, etc.) ou subjectifs (qualité de la recherche, de l’accueil et de l’accompagnement des étudiants, des logements, de la relation encadrant-encadré, etc.). Mission impossible.

Il est légitime d’essayer de résoudre cette quadrature du cercle, mais il faut savoir admettre l’étendue de l’approximation et de la subjectivité d’une telle entreprise. En particulier, il faut impérativement abandonner l’idée d’un classement global, aussi séduisant qu’il puisse être. Au mieux, on peut espérer classer les universités pour chaque critère séparément. Dans ce cas, on verra qu’une institution peut se situer parmi les meilleures pour la qualité de son encadrement mais se retrouver moins bien classée lorsque sa recherche est analysée. Par ailleurs, on trouvera des universités de grande qualité pour leurs sciences humaines et d’autres plutôt pour les sciences et techniques.

Je partage le souci du Professeur Tulkens et de son université, l’UCL, de tenter d’améliorer la méthodologie du Times Higher Education Supplement dont les biais et le caractère expéditif interpelle. Chaque université souhaiterait en effet élaborer une expression plus juste de sa valeur. Mais il est indispensable d’abandonner définitivement l’idée d’une évaluation globale en un seul chiffre, condition nécessaire au classement, car un tel chiffre ne peut consister qu’en une moyenne saugrenue de valeurs correspondant à de nombreux critères très différents. Il faut séparer les critères et probablement aussi les domaines d’activité.

Malheureusement, ce n’est nullement la voie dans laquelle M. Tulkens s’est engagé. Il a cherché à donner plus de poids à certains critères et moins à d’autres et c’est bien là ce qui a choqué lors de la sortie de l’article du Vif. En effet, son intervention sur les données de base était lourde de subjectivité et il est difficile de dire si ses choix étaient plus judicieux que d’autres qui pourraient être proposés. Le hasard qui, selon lui, a conduit à un grand bond en avant de son université dans le classement a jeté un fâcheux discrédit sur son approche. Et ce n’est pas tant la divulgation de cette manipulation de données sur le site internet du centre de recherches dont il relève à l’UCL qui a suscité l’ironie, que la façon dont Le Vif-L’Express s’est emparé de ce travail pour le présenter comme un nouveau classement solide et fiable, commettant ainsi une erreur journalistique fort surprenante.

Je reste partisan d’études qui permettraient d’arriver à un consensus entre universités dans le monde entier quant aux critères à utiliser et à la manière de collationner et traiter les données pour enfin constituer une évaluation équitable et réellement utile. A condition de s’imposer de ne pas publier de hit parade simpliste et forcément réducteur.