Prix du meilleur poisson d’avril scientifique

« Just Han­ging around », CC par Immagina

Le prix du meilleur pois­son d’avril scien­ti­fique est dédié à Digi­tal Huma­ni­ties Quar­tely, une des prin­ci­pales revues dans le sec­teur des Huma­ni­tés numé­riques. J’ai conscience que ça ne fera rire que le petit milieu uni­ver­si­taire, mais il est symp­to­ma­tique d’une situa­tion dans laquelle les clas­se­ments, les évalua­tions et le sys­tème de valeur de l’université semblent glis­ser vers une robo­ti­sa­tion aveugle, alors que le numé­rique offre des pers­pec­tives d’humanisation, d’individualisation et d’affinement de la boîte à outils du cher­cheur et de la recherche. La revue DHQ, dans son annonce-​gag, pro­meut quatre méthode aveu­gle­ment quan­ti­ta­tives pour sélec­tion­ner les articles :

1. étude de simi­la­rité sty­lis­tique avec les « meilleures » revues, de façon à s’assurer que rien ne chan­gera, que tout va pour le mieux dans le meilleur des mondes ;
2. étude quan­ti­ta­tive de la lon­gueur des phrases et des mots, afin de clas­ser les articles en fonc­tion de leur lisi­bi­lité. Les res­pon­sables de la revue ajoutent un « pro­prie­tary DHQ rea­da­bi­lity index », aux anti­podes de la tra­di­tion d’ouverture des Huma­ni­tés numériques ;
3. étude sty­lis­tiques per­met­tant de s’assurer que l’auteur jar­gonne bien, sur la base de l’identification de termes tech­niques et concepts spécialisés ;
4. étude des pra­tiques de cita­tions : pour être publié, l’auteur devra citer les auteurs les plus cités, de façon à ce que la boucle soit bou­clée, et que les auteurs les plus cités res­tent au som­met du top ten pour les siècles à venir.

Voici une façon décon­trac­tée et amu­sante de prendre posi­tion pour le retour de l’humain dans les pra­tiques édito­riales et scien­ti­fiques mon­diales. A bon enten­deur. Voici l’annonce dans sa tota­lité, ini­tia­le­ment dif­fu­sée sur la liste Huma­nist :

Digi­tal Huma­ni­ties Quar­terly is plea­sed to announce a move to Peer Review with Advan­ced Tech­no­logy (PRAT): a new com­pu­ta­tio­nal peer review sys­tem based on text analysis.

This new approach to peer review will enable DHQ to pro­cess vastly increa­sed num­bers of sub­mis­sions, spee­ding up time to publi­ca­tion and ensu­ring consis­tency of review cri­te­ria, com­pa­red with results from human peer reviewers.

This move comes at a time when peer review mecha­nisms are coming under close scru­tiny, as jour­nals and other online publi­ca­tions expe­riment with alter­na­tives to tra­di­tio­nal peer review. DHQ has consi­de­red a variety of models, inclu­ding crowd-​sourced peer review based on rea­der com­ments, but we have deter­mi­ned that these require too great an invest­ment of time and create unac­cep­table delays in pro­duc­tion. Our new text-​analysis-​based method will eli­mi­nate human revie­wers alto­ge­ther and assess sub­mis­sions based on a set of mea­sures that may include:

1. Sty­lis­tic simi­la­rity to articles in the highest tier of cita­tion ran­kings in a selec­ted set of major jour­nals, using state-​of-​the art mea­sures that focus on voca­bu­lary choice and pat­terns of clause construction.

2. Ave­rage and maxi­mum word length, sen­tence length, and clause length. Sub­mis­sions will be sco­red in all three cate­go­ries and the results will be com­pa­red with a pro­prie­tary DHQ rea­da­bi­lity index to deter­mine the submission’s sui­ta­bi­lity for publi­ca­tion. The highest-​scoring articles will be publi­shed in a spe­cial « Expert » column.

3. Fre­quency of high-​value tech­ni­cal ter­mi­no­logy. Terms from spe­ci­fic domains will be weigh­ted dyna­mi­cally, based on cur­rent mea­sures of usage of those terms in high-​ranking peer jour­nals, to ensure that DHQ’s publi­shed articles keep pace with the chan­ging pat­terns of tech­ni­cal jar­gon in the broa­der com­mu­nity. For spe­cial issues, terms from spe­ci­fic topic areas will be given extra weight to ensure that sub­mis­sions are rela­ted to the issue’s sub­ject area.

4. Rate of cita­tion of the most highly cited refe­rences in digi­tal huma­ni­ties. Sub­mis­sions that cite the most highly cited refe­rences (or articles citing those) will be more highly ran­ked. Over time, we anti­ci­pate that this mecha­nism if pro­perly used could result in the DHQ article cor­pus achie­ving com­plete self-​referentiality.

The new sys­tem goes into effect with the spe­cial issue « From Lemons to Lemo­nade: Lear­ning from pro­ject fai­lures in the Digi­tal Huma­ni­ties », to be publi­shed on April 1.

Best wishes, Julia, Melissa, and Wendell

Julia Flan­ders
Melissa Ter­ras
Wen­dell Piez
Gene­ral Edi­tors, DHQ

This entry was posted on 5 avril 2011 at 7 h 19 min and is filed under Blogo-numericus, Digital Humanities. You can follow any responses to this entry through the RSS 2.0 feed.