Il est parfois amusant de suivre le parcours des idées qu’on développe sur un blog. Elles prennent leur indépendance et vivent leur vie propre au travers des commentaires que d’autres en font. C’est exactement ce qui se passe avec nos publications scientifiques, mais la magie de l’internet, c’est précisément qu’il est plus simple d’accompagner ses écrits et d’en analyser le devenir, car des outils pratiques permettent de le faire (ce sera bientôt le cas également pour les publications et ce l’est déjà pour certaines, accessibles et/ou répertoriées sur internet).

C’est ainsi que mes commentaires du 6 novembre dernier sur les classements des universités ont contribué à nourrir une discussion dont je vous rapporte ici quelques éléments que l’on peut trouver sur :
http://www.expertsrt.net/forum/viewtopic.php?t=454&start=75&sid=a8fd83ca8ccd05f33f8bd5a62a9c2c46/

Commentaire de « Esopo » :

The Times Higher Education Sumplement is a UK based respectable publication.
You may be able to come up with a different list, but you can’t take credit away from the one
the THES publishes. it is widely recognized.
http://www.thes.co.uk/site_information/about_the_thes/

Réponse de « VGR Mentor Editor » :

Not really. It is widely accepted in the anglo-saxon world, but it brings up a lot of negative reactions in the rest of the world.

You can find reactions from a big Belgian university , ULg (ranked 196th) here : http://recteur.blogs.ulg.ac.be/
Quoting (and translating) : « Rien ne fait de ce classement un passage obligé. Les critères qu’il utilise sont très contestables et particulièrement biaisés. Le succès des universités australiennes est très suspect (13 dans les 161 premiers !), de même que celui des universités de Hong Kong ou de Singapour. Il se trouve que je connais personnellement quelque peu l’Université de Novosibirsk, sa 169è position laisse rêveur… (Nothing makes this classement an obliged passage. Criteria it does use are very contestable and particularly biased. The success of australian universities (13 in the first 161 ! ) is very suspect, as are the one of universities from Hong Kong or Singapour. It happens that I know personally the university of Novosibirsk. its 169th position leaves me wondering…) »

The recteur from that liegean university details how the T.H.E.S. ranking is built, and points out that it is composed : (2004 study, the 2005 doesn’t ask for the Nobel or Fields stuff).
First it has been conducted by a London-based private firm called QS on behalf of the T.H.E.S.
That company begun by collecting data about each institution :
1. A « Peer review score », ie a notoriety study. It is conducted by asking a panel of 1300 scholars of 88 countries on all continents which were the most prestigious universities in their field. This amounts for 50% in the final calculation.
2. A measure of the impact of research, calculated on the basis of the number of quotes of the members of those institutions in « Essential Science Indicators » (published by Thomson Scientific, ex-ISI). A criterium favorishing indiscutably anglo-saxon and « hard » sciences. This amounts for 20%.

On the basis of those two elements, QS made a selection of the first 300 after elmiminating specialized institutions that made less than 5000 publications over the year (a fast search with « Scholar Google » detects 27.778 for l’ULg in 2004, but by counting 2.530 publications for the CHU de Liège which « forget » to mention the ULg, 658 attached to the Centre hospitalier universitaire de Liège and 2.600 of the l’University Hospital of Liège !).

Then, QS searched an information complement in the databases like the one from ISI, on the web sites, and by email or phone to the institutions themselves. The questions asked :

3. Le rapport d’encadrement (20 %) (staffing report?)
4. La proportion d’encadrants étrangers (5 %) (foreign staffing)
5. La proportion d’étudiants étrangers (5 %) (foreign students)

Also taken into account :

6. Number of laureates from Prix Nobel or Médaille Fields
7. Number and ratio of personnel belgian and internationals
8. Number and ratio of students belgian and internationals
(excepted-Erasmus)
9. student mobility in exchange networks
10. number of students in 2nd and 3rd cycle
11. Le montant moyen du minerval pour les étudiants internationaux de 2è cycle et de 3è cycle [that's typically Belgian IMHO]
12. total of spendings for libraries.

Clearly, if you want my opinion, this states why I think this T.H.E.S. isn’t serious at all.

Also, take into account that the Jiao Tong University of Shanghai also produces a classement, with very different results from T.H.E.S. and this is a clear text about why it doesn’t apply to us fairly : http://www.boivigny.com/index.php?action=article&id_article=225084

Quoting (and translating) :

Les médias anglais se sont réjouis de voir Cambridge se positionner au deuxième rang
mondial, juste derrière Harvard. Le quotidien « Guardian » parle ainsi de la « respected
Shanghai Jia Tong » qui a su classer 11 universités britanniques dans le top 100 mondial, alors
même que les établissements anglais travaillent avec « des moyens considérablement
inférieurs à ceux des universités américaines », qui dominent le classement.
En Italie, le quotidien « La Repubblica » a salué la performance de « La Sapienza » de Rome qui s’est classée 97ème, devant toutes les autres universités italiennes. Le journal s’interroge toutefois sur la pertinence du classement alors que « La Bocconi » de Milan, considérée comme l’un des meilleurs établissements transalpins, ne trouve même pas sa place dans le classement chinois.
Les résultats obtenus par les universités françaises sont mauvais – 22 universités classées, dont quatre seulement parmi les cent premières : Paris VI est 46ème, Paris IX, 61ème, Strasbourg I 92ème. Ce palmarès ne correspond pas aux logiques hexagonales: les grandes écoles sont quasiment oubliées (hormis l’ENS Ulm en 93ème position). Il est vrai qu’il donne une prime aux très grands établissements (en terme quantitatif) à forte composante scientifique. Les grandes écoles françaises sont donc trop petites pour y figurer en bonne place.
(English media rejoyced from seeing Cambridge ranked 2nd in the world, just behind Harvard. The quotidian « Guardian » thus writes about the « respected Shanghai Jia Tong » that managed to rank 11 britannic universities in the world’s top 100, while they have « considerable less means than american universities », which dominate the classement. In Italy, the quotidian « La Repubblica » saluted the performance of « La Sapienza » of Rome which ranked 97th, ahead of all italian universities. The newspaper wonders nevertheless on the pertinence of the classement as the « La Bocconi » of Milan, considered as one of the best transalpine institutions, is not even ranked in the chinese classement.
Results obtained by French universities are bad – 22 universités ranked, with only 4 in the best 100 : Paris VI is 46th, Paris IX 61th, Strasbourg I 92th. This palmares doesn’t correspond to hexagonal [France's] logics : « les grandes écoles » are almost completely forgotten (except the ENS Ulm in 93th position). It’s true that it advantages a lot big institutions (in quantitative terms) with a strong scientific component. the french « grandes écoles » are thus too small to enter the ranking).

Quality hasn’t anything to do with quantity…

Also, in the Financial Times there is an other classement which ranks the « écoles de commerce » (the 25 best MBAs, masters in management, in Europe). Those French « grandes écoles » rank respectively 1st (HEC), ESCP-EAP (2nd), Essec (7th), Grenoble EM (8th), EM Lyon (9th), Edhec (12th) and Audencia (16th).

So you see, « international ranking » doesn’t summarize in T.H.E.S. and T.H.E.S. only.

Réponse de « COBOLdinosaur – ERT.com Admin – Site Builder – Mentor » :

All such rankings are automaticlly biased as soon as you determine the selection criteria. It is not possible to determine a set of factors, and weighting without bias. The best you can expect to do is get some rating of how things rank for a narrow definition of « quality ».
Expecting a rating system for universities to be acceptable accross all cultures and systems of education is no different than expecting culturally different groups to act the same way and agree on the same things when setting priorities.

It is called diversity, and we should be glad we have it. It would be boring if we all did things the same way, thought the same way and agreed on what is important in the world.

Réponse de « VGR – Mentor – Editor »

Yes… but if I compare North-America’s culture with a fictive, idealized and average low-denominator « european culture », It could be said we share a reasonably-broad basis ; from that common ground, the current differences of culture are difficult to understand (by me, at least)
For example, don’t we share a society governed by a formal Law based on the formal Decalogue (Ten Commandments) ? Civil Rights derived from the universal declaration of human rights etc ?

In both, murder is evil, jealousy and greed are sins, charity is a virtue and your neighbour is your brother… no ?
I like diversity ; I only want to understand.

Réponse de « nicholassolutions – ERT.net Admin – Site Builder – Mentor »

The whole idea of ranking schools is in general silly.

On le voit ici encore, à moins que l’on accorde une confiance inconditionnelle au THES sur base de la solide réputation du Times, il est assez naturel de mettre en cause la validité de tels classements et peut-être surtout leur réelle raison d’être. En effet, peut-on comparer valablement des universités qui appartiennent à des cultures et à des systèmes éducationnels différents ?