Archives mensuelles : décembre 2007

Les pairs et le cluster (2. Les faiblesses des enquêtes)

Ce billet consti­tue la suite d’une série de billets sur « Les pairs et le clus­ter ». Le pre­mier billet publié pré­sente les rap­ports sur les revues.


The race - after

La plu­part de ces ini­tia­tives d’évaluation a pro­vo­qué une pluie de cri­tiques de la part des milieux de la recherche. L’exercice est ingrat, il faut le recon­naître, et connecté à des enjeux écono­miques majeurs pour les revues. Il est donc dif­fi­cile de pro­vo­quer l’unanimité, puisque l’évaluation a, ici, pour objec­tif de gui­der les poli­tiques de sub­ven­tion. En tou­chant le nerf de la guerre, l’évaluation est au centre de ten­sions extrê­me­ment vives. Je tente ici de réa­li­ser une syn­thèse des cri­tiques qui ont été for­mu­lées, sans prendre posi­tion sur ces critiques.

1. En se foca­li­sant sur les pério­diques, les enquêtes laissent volon­tai­re­ment un angle mort, celui des mono­gra­phies, qui pèsent pour­tant d’un poids quan­ti­ta­tif consi­dé­rable en sciences humaines et sociales. Alors que leur impor­tance dans la car­rière d’un cher­cheur est cen­trale, les enquêtes actuelles les ignorent, intro­dui­sant un biais de mesure considérable.

2. Un grand nombre de biais sta­tis­tiques sont inévi­tables. Par exemple, com­ment com­pa­rer une revue née en 1888 (la Revue de l’histoire des reli­gion) avec une revue née dans les années 1990 (Etudes pho­to­gra­phiques) et une revue créée en 2004, dont l’enquête Henriot/​Fleuret ignore jusqu’à l’existence (Champ pénal, revue fran­çaise de cri­mi­no­lo­gie) ? Cela amène, in fine, les auteurs de l’enquête à intro­duire des nuances et par­fois même des contor­sions pour essayer de cer­ner un objet com­plexe. De même, la pra­tique de l’auto-citation et les stra­té­gies de néga­tion de l’adversaire, par l’ignorance biblio­gra­phique de celui-​ci, consti­tuent des éléments struc­tu­rants du cor­pus étudié qui sont dif­fi­ciles à contourner.

3. Le cor­pus ini­tial défi­nit les réponses : les grandes enquêtes sont des usines qui confirment en sor­tie ce qu’on leur a donné en entrée. Le risque tau­to­lo­gique est en effet non négli­geable. Défi­nir le cor­pus des revues fai­sant auto­rité consti­tue un exer­cice déli­cat, qui condi­tionne la visi­bi­lité des écoles, des sujets de recherche et des dis­ci­plines. Or, les enquêtes pro­duisent méca­ni­que­ment des angles morts. Les rap­ports de force des champs scien­ti­fiques émergent des enquêtes, qui confirment la domi­na­tion des dis­ci­plines, des groupes et des champs domi­nants. En sciences humaines et sociales, l’utilisation mas­sive de la langue de Molière a des inci­dences notables sur la visi­bi­lité inter­na­tio­nale. En somme, les méthodes biblio­mé­triques peuvent consti­tuer des freins impor­tants à l’émergence d’innovations. C’est le cas pour les dis­ci­plines et les spé­cia­li­tés en cours de consti­tu­tion comme pour les para­digmes minoritaires.

4. Les enquêtes biblio­mé­triques mettent en oeuvre des méthodes pour répondre à une ques­tion. A chaque enquête cor­res­pond sa méthode. Et ses résul­tats. Sans prendre en compte ce fac­teur, il est dif­fi­cile de com­prendre les dis­pa­ri­tés de résul­tat entre les dif­fé­rentes enquêtes qui se sont suc­cé­dées, par exemple en 2007, à l’échelle mon­diale. Une syn­thèse de résul­tats qui semblent contra­dic­toires paraît par­fois impos­sible… La pro­li­fé­ra­tion actuelles des enquêtes à la manière de Shan­gaï n’est-elle pas, elle-​même, le signe que la biblio­mé­trie est de plus en plus un lieu de pou­voir scien­ti­fique inter­na­tio­nal, dans lequel chaque acteur joue des coudes pour obte­nir les moyens de décer­ner les palmes d’or aux orga­nismes, aux publi­ca­tions et aux cher­cheurs… Dès lors, s’impose une grande vigi­lance dans la mise en oeuvre des enquêtes fran­çaises. En France, le rôle de l’OST sera sans doute déter­mi­nant en ce domaine et il serait dom­mage de s’en dés­in­té­res­ser comme s’il s’agissait d’une simple ques­tion technique.