Le 31 janvier 2007, s’est déroulée à Paris une Journée d’étude des Urfist (Unités régionales de formation à l’information scientifique et technique) sur le thème « Évaluation et validation de l’information sur internet ». J’y ai proposé une réflexion ayant pour titre « Les pairs et le cluster », portant sur la problématique de l’évaluation de la recherche en sciences humaines et sociales. Agnès de Saxcé a publié un compte-rendu de cette journée dans le Bulletin des bibliothèques de France (BBF).
L’annonce d’un nouveau colloque sur le même thème, avec un titre engagé et engageant, « Evaluer, dévaluer, réévaluer l’évaluation », me pousse à publier sur Blogo-numericus, en deux ou trois parties, quelques conclusions de ma communication, afin de contribuer à un débat essentiel, qui est trop souvent abordé de façon rapide.
L’évaluation de pilotage : le règne du papier
En sciences humaines et sociales, le « facteur d’impact »» n’a pas acquis la même domination que dans d’autres disciplines. Diverses enquêtes ont eu lieu, à chaque fois pour améliorer le pilotage de la recherche et des politiques de subvention aux revues. Chacune a proposé une méthode différente. Et produit des résultats distincts. Citons trois rapports, dont deux enquêtes bibliométriques majeures, tous commandés par des organismes nationaux ayant vocation à soutenir les périodiques scientifiques en SHS.
En 2003, Philippe Jeannin a rendu un rapport, fruit d’une mission ayant duré quatre années. Sa Revuemétrie de la recherche en Sciences humaines et sociales. Rapport synthétique et final de mission (1999 – 2003) s’appuie sur une méthode originale, qui s’apparente au sondage d’opinion sur population très précise. Il s’agit simplement de proposer une très large liste de titres de périodiques à des centaines de chercheurs d’une discipline, en leur posant une question unique et simple : « Cette revue est-elle scientifique ? ». Les chercheurs pouvaient répondre par l’affirmative, la négative ou l’aveu d’ignorance (« Ne sait pas »). Il totalise les votes ainsi exprimés et élabore, de ce fait, un score qui permet de classer les revues. Cette méthodologie présente des particularités intéressantes : elle ne s’appuie pas sur la méthode que mettait en oeuvre l’UPS CNRS Périodiques, qui consistait en une longue expertise rédigée par un ou deux spécialistes. Ici, pas de place pour la nuance ni pour l’avis exprimé en trois parties et deux sous-parties, avec introduction et conclusion. Pas de discussion sur la notion même de scientificité, que le questionnaire de Jeannin refuse volontairement de définir, faisant le pari de s’appuyer sur la définition particulière du chercheur interrogé, qui n’a pas, lui-même, à en définir les contours. Originale, cette méthode n’est pas totalement démocratique, mais elle s’appuie malgré tout sur une enquête cherchant à refléter des tendances fortes dans l’opinion des chercheurs.
En 2004, Christian Henriot et Etienne Fleuret ont publié une enquête dans la Lettre du département SHS du CNRS (Sciences de l’homme et de la socité, n°69, mai 2004, 69p.). Cette enquête s’appuie sur un constat, celui de la faible pertinence des mesures de facteur d’impact proposées par l’ISI (Institute for scientific information) en Sciences humaines et sociales francophones, le corpus des titres étant de qualité très inégale. Elle se donne pour objectif d’être la contribution française au projet d’index de citations européen (projet de l’ESF), instrument dont la destinée semble aujourd’hui incertaine. L’enquête Henriot/Fleuret a mobilisé d’importantes ressources humaines et une méthodologie s’appuyant sur la mise au point d’une liste de titres de référence dans chaque discipline, français et étrangers. Les enquêteurs ont cherché, dans le corpus défini, le nombre de fois où les revues françaises étaient citées. Ce nombre, modulé en fonction de critères tentant de réduire certains biais, a défini un score, qui a permis au CNRS de définir des revues d’envergure internationale ayant vocation à être soutenues sur deux supports (papier et électronique), des revues ayant vocation à être soutenues sur un seul support (pour la première fois, l’électronique) et des revues à vocation nationale, dont le CNRS ne souhaitait plus assurer le soutien.
En 2006, Sophie Barluet a rendu un rapport au Centre national du Livre (CNL). Si son enquête n’avait pas pour objectif principal d’évaluer les revues, elle abouti, malgré tout, à proposer un état des lieux et une méthode d’évaluation. Il s’agit de croiser deux critères, le nombre d’exemplaires papier en diffusion payante et l’expertise réalisée par une commission. J’ai dit ailleurs que cette enquête me semblait marquée par le complexe du Cyclope, en prônant de façon relativement contradictoire la création de revues électroniques, mais en leur donnant comme seul horizon de passer sur support papier, ensuite, et en ne proposant de procédure d’évaluation que sur la base de la diffusion payante, ce qui empêche de penser le numérique comme un espace de publication à part entière, disposant d’une économie de l’écriture, d’un public et d’un modèle économique radicalement différents des revues papier.
Faute de matériau électronique massif et de prise de conscience de l’importance des enjeux du numérique, ces enquêtes s’appuient exclusivement sur le support papier pour rendre leurs conclusions. Le paradoxe n’est pas secondaire, car il s’agissait de se préparer à la modernisation des procédures de publication scientifique, qui passe notamment par la mise en place d’une édition électronique de qualité. La publication des résultats de ces enquêtes a provoqué des réactions parfois vives.
A chaque fois s’est posée la question de la légitimité de la démarche, de la qualité de la méthode, de la pertinence des conclusions. Ce point sera abordé dans le prochain billet.
