dim 3 juin 2007
Il est surprenant de constater le temps qu’il aura fallu pour que des institutions de grande qualité scientifique finissent par contester les méthodes ridiculement inadéquates qui sont employées pour les juger et les classer.
Voici enfin qu’un boycott des « rankings » est proposé par un groupe d’universités américaines. Il est commenté par D. Butler dans la revue Nature (447, 514-515, 31 May 2007) et par S. Harnad ce 3 juin dans l’American Scientist Open Access Forum.
En Europe, les voix ont été plus discrètes. Rares sont ceux d’entre nous qui ont rejeté d’emblée les « rankings » sur base de leur médiocrité scientifique, beaucoup ont accepté ces classements comme incontournables, certains ont même essayé de manipuler les chiffres à leur avantage et personne n’a vraiment réussi à convaincre la presse d’ignorer ces informations.
En substance, l’analyse de Nature est la suivante: « Experts argue that [the rankings] are based on dubious methodology and spurious data, yet they have huge influence. All current university rankings are flawed to some extent; most, fundamentally ».
Les auteurs défendent un point de vue qui est le mien depuis le début: aucun classement, que ce soit celui du U.S. News & World Report, celui du British Times Higher Education Supplement (THES) ou celui de la Jiao Tong University à Shanghai, pour citer les plus connus, n’est basé sur des critères ni sur une méthodologie irréprochables, loin s’en faut. Quant aux données du Thomson Scientific’s ISI citation data, elles sont inutilisables pour opérer des classements — le nom d’une même institution s’écrit de manière différente dans différents articles, voire même est mal orthographié ou complètement omis selon les cas — et elles ne concernent que les publications.
La conclusion est nette, les rankings, dans leur forme actuelle, sont purement et simplement à oublier.
Mais ce que M. Rentier a omis de noter concernant le coucher du soleil pour les classements classiques (et inutiles) c’est le lever du soleil pour la scientométrie libre-accès:
Harnad, S. (2007)
Commentaire de Stevan Harnad, le 3 juin 2007 à 16:32En effet!
Je comptais développer cet aspect plus tard, mais effectivement, nous accédons à une nouvelle ère où les mesures d’impact des publications scientifiques (qui ne sont qu’indirectes via les impacts des journaux eux-mêmes et avec les imperfections rappelées plus haut) vont faire place à la mesure du lectorat de l’article en question. Cette approche infiniment plus précise s’accompagnera d’une multitude d’autres informations intéressantes sur les articles publiés et leur cheminement dans la webosphère et, mieux encore, dans la sphère de la communauté scientifique internationale. C’est la « scientométrie libre accès » dont parle Stevan Harnad.
Comme exemple de ce que la « Scientométrie » nous réserve, voyez l’article de Johan Bollen & Herbert van de Sompel: « Mapping the structure of science through usage » dans Scientometrics (69, 2, 227-258, 2006).
Commentaire de Bernard Rentier, le 3 juin 2007 à 17:51Pour une information sur les citations dans le contexte de l’Open Access: Hardy, R., Oppenheim, C., Brody, T. & Hitchcock, S., Open Access Citation Information dans les publications ouvertes de l’Université de Southampton en 2005.
Les publications (en nombre comme en qualité) sont certainement un indice intéressant pour évaluer le niveau d’une université pour les chercheurs et les enseignants, mais quels indices utiliser quand on est étudiant?
Certains éléments de ces fameux classements (proportion d’étudiants par professeurs, etc,etc) peuvent donc être utiles si on les analyse intelligement.
D’ailleurs, les étudiants bénéficient de bien peu d’autres indices que la renommée (justifiée ou non) d’une université pour l’évaluer.
Commentaire de Vangeebergen Thomas, le 7 juin 2007
Commentaire de Bernard Rentier, le 8 juin 2007 à 22:33sur le blog interne
C’est exact, mais ne serait-ce pas mieux qu’ils disposent d’une analyse complète, expliquée, éventuellement comparative (en ne comparant que ce qui est comparable), reprenant les critères un par un ? Pour vraiment savoir à quoi ils ont affaire ?
Il existe de nombreux moyens d’évaluer la qualité de l’enseignement et nous allons les mettre en pratique à l’ULg. J’exposerai cela dans le “Projet ULg” qui sortira à l’automne.
Mais il n’est de bon enseignement qu’accompagné et soutenu par une bonne recherche. Ce critère-là est important aussi, même pour un étudiant et, je dirais, tout autant pour un étudiant que pour un chercheur. La bonne recherche est une des principales garanties d’un bon enseignement!
Commentaire de Bernard Rentier, le 8 juin 2007 à 22:33La Fédération des Étudiant(e)s Francophones (FEF) a, récemment, adopté une position sur les rankings qui rejoint très largement celle de M. Rentier.
Elle appelle notamment les institutions universitaires à cesser de transmettre les données les concernant aux auteurs de ces classements.
Plus d’infos, à l’adresse : http://www.fef.be/new/index.php?page=9&article=28
Commentaire de FEF, le 10 juin 2007 à 11:57Voici comment nos voisins allemands s’y prennent :
http://www.daad.de/deutschland/hochschulen/hochschulranking/06544.en.html
Commentaire de Pierre Robette, le 19 juin 2007 à 15:26Le Soir – 21.09.2007 —
« L’ULB réfute le classement des universités
À l’occasion de la 174e rentrée académique de l’Université libre de Bruxelles, le recteur, Philippe Vincke, s’est attardé sur le phénomène des classements des universités. Selon lui, ce besoin d’évaluation n’engendre qu’une concurrence croissante entre les établissements. M. Vincke a mis en évidence le caractère non scientifique de ces classements et leur manque de rigueur. »
Le site de l’ULB ne livre pas (encore ?) la teneur du discours de son Recteur à l’occasion de la rentrée académique. Le journal » Le Soir », dans ses brèves, le cite… à suivre ?
Commentaire d’Anne Michel, le vendredi 21.09.2007 sur le blog interne.
Commentaire de Bernard Rentier, le 22 sept 2007 à 15:37