Le magazine Science & Avenir, en juin dernier, se penchait sur le problème de l’évaluation de la recherche et des chercheurs au moyen du facteur d’impact. En effet, le CNRS a maintenant demandé à ses chercheurs de fournir une évaluation de la qualité leur recherche au moyen du facteur d’impact (F.I.) des journaux scientifiques, à savoir:

nombre de fois qu’un des articles parus pendant les 2 dernières années dans le journal est cité durant l’année en cours / nombre d’articles publiés par le journal durant les 2 dernières années

mais sous une variante qui s’applique directement au chercheur:

nombre d’articles ayant cité un article du chercheur / nombre d’articles que ce chercheur a publiés.

Par extension, cette mesure peut également s’appliquer à une équipe de recherche, à un laboratoire, à un institut et, pourquoi pas, à une université, une région, un pays, etc., remplacez simplement le terme « le chercheur » par ces autres entités.

Le simplisme de cette exigence soudaine mais, il faut bien le dire, attendue tôt ou tard, suscite chez les chercheurs français une vive polémique, en raison de l’inadéquation ou, à tout le moins, du caractère très indirect de l’utilisation du F.I. pour une mesure de la qualité d’une recherche. Il y a 30 ou 40 ans, faute de mieux, certains s’en contentaient. Mais aujourd’hui, les conséquences des évaluations deviennent tellement majeures pour le chercheur et son équipe, leur financement et la pérennité de leur recherche, qu’on ne peut plus se contenter de raisonnements aussi approximatifs.

Le F.I. d’un journal n’intéresse en principe que l’éditeur du journal. Il indique l’impact du journal sur le « monde du savoir ».
Encore faut-il que le numérateur de la formule (« nombre de citations ») soit significatif par l’exhaustivité du « monde du savoir » examiné à ce propos. Or il est évident que, pour ce qui concerne le F.I. (le plus connu est répertorié par Thomson Scientific), le « monde du savoir » est loin d’être couvert par la liste des journaux où les citations sont détectées. En particulier, le biais en faveur des publications anglophones, et surtout de celles qui émanent des Etats-Unis d’Amérique, est considérable. Première approximation grossière, donc.

Par ailleurs, juger un chercheur sur la base de la moyenne des indices d’impact des journaux où il publie (et additionner les valeurs pour chacun de ses articles) ne donne en réalité qu’une idée très fausse de la valeur du chercheur. Deuxième approximation grossière.

Juger de la valeur d’un chercheur par l’impact de ses travaux personnels sur le « monde du savoir » nous rapproche déjà d’une certaine vérité. Et comment juger de cet impact si ce n’est par la fréquence de ses citations dans la littérature scientifique? L’on sait cependant que les citations ont une composante aléatoire, qu’elles dépendent de la qualité de l’analyse faite par d’autres, que les idées et concepts se transmettent et qu’ainsi la paternité peut se transformer rapidement en grand-paternité, voire au delà et disparaître dans l’oubli. On sait aussi que de nombreux éléments peuvent contribuer à la notoriété d’un chercheur et qu’il peut sembler avantageux de citer un « opinion leader » à l’appui de sa propre thèse plutôt qu’un inconnu. Enfin, on comprendra aisément que, si la citation devient le must, il est possible de se livrer à une « ingéniérie » de la citation, même en évitant l’auto-citation. Troisième approximation grossière.

Enfin, on ne peut éluder la question du domaine du savoir dans lequel le chercheur travaille. Il peut y avoir une variation de 1 à 100 entre les pratiques de citation selon les domaines ou entre le nombre de journaux relevant d’un domaine. Certains domaines requièrent la publication de livres et beaucoup moins d’articles dans des périodiques. D’autres domaines encore font appel à des véhicules différents pour la transmission du savoir (cartes, plans, etc). Enfin, quelle que soit l’utilité d’une recherche, elle n’aboutit pas toujours, et parfois rarement, à des publications d’intérêt universel méritant une diffusion internationale. Quatrième approximation grossière.

Trop d’approximations grossières privent tout calcul de sa validité.

Il est impératif d’élaborer des systèmes d’évaluation plus précis, plus représentatifs de la vraie utilité d’un chercheur pour le bien général. On pourra (et il faut y contribuer d’urgence) améliorer les systèmes de mesure qui sont disponibles ou qui sont en train de le devenir. L’intensification et la généralisation de plus en plus grande des processus d’évaluation nous conduit à trouver des algorithmes performants et rapides. Tant mieux. Mais il faut se faire une raison: on n’échappera jamais au surcroît de travail qu’entraîne l’examen approfondi des travaux d’un chercheur ni au temps nécessaire pour l’étude minutieuse de l’influence qu’il peut avoir sur la collectivité, à différents niveaux d’échelle.

J’ai souvent fustigé la pratique qui consiste à résumer quelque chose d’aussi complexe qu’une université par un seul chiffre, comme on le fait dans les « rankings ». Est-il plus raisonnable, même si l’on se situe un ordre de grandeur au-dessous, de réduire les mérites d’un chercheur, avec ses qualités et ses spécificités, à un seul chiffre…?