Peer-review : formule à diversifier ? [+ addenda]

Willard McCarty, qui tient à bout de bras la liste Humanist, y va d’un pavé dans la mare des périodiques académiques… Pavé dans la mesure où la tendance est à lapider sur la place publique le système du peer-review, qui aurait atteint ses limites par des dérapages (auxquels il fallait s’attendre) : effets de clan dans des domaines hyperspécialisés et compétitifs, refus d’admettre des nouveautés qui remettent en doute le canon scientifique de tel domaine, saturation des bons évaluateurs en raison de la croissance exponentielle de la publication du discours scientifique.

Pourtant, faut-il le rappeler, le principe fonctionne relativement bien en SHS. Comment l’expliquer ? La difficulté d’être vraiment sur le même terrain que plusieurs autres chercheurs, la diversité des lieux de publication, l’absence de course aussi effrenée à la publication (non en termes de volume mais en termes de rapidité d’accès à l’information ? celle-ci étant moins rapidement périmée en SHS qu’en sciences dures ou biomédicales).

C’est sur la question de la variabilité des formules d’évaluation des manuscrits qu’il revient :

I wonder if it is fair to put the blame on peer-reviewing,
which is bound to turn up human failings and perversities. I also
wonder if, given our greater diversity in ways to publish now that
the Web provides them, a cogent solution to whatever problems is to
use that diversity. J. Scott Armstrong (Warton School, Penn) argues,
for example,

Peer review improves quality, but its use to screen papers has met with limited success. Current procedures to assure quality and fairness seem to discourage scientific advancement, especially important innovations, because findings that conflict with current beliefs are often judged to have defects. Editors can use procedures to encourage the publication of papers with innovative findings such as invited papers, early-acceptance procedures, author nominations of reviewers, results-blind reviews, structured rating sheets, open peer review, and, in particular, electronic publication. Some journals are currently using these procedures. The basic principle behind the proposals is to change the decision from whether to publish a paper to how to publish it.

(« Peer Review for Journals: Evidence on Quality Control, Fairness, and Innovation », Science and Engineering Ethics 3 (1997): 63-84, http://cogprints.org/5197/01/peer_review_for_journals.pdf)

Il faut dire qu’il est étrange de voir, comme nouvelle formule pour contourner les problèmes du peer-review, la publication électronique comme un moyen en soi… Ca montre bien le fossé qu’il existe encore entre la notoriété du papier et le caractère improvisé de la publication en ligne…

Addenda :

Je recroise cet article qui va dans le même sens : les lieux de publication sont à diversifier (et on nous en donne quelques exemples). Toutefois, leur argument me paraît aller trop loin :

Separate the dissemination, evaluation/recognition, and retrieval aspects: today, with a publication, researchers achieve all of them. A publication disseminates the work, causes recognition for the authors (the peer evaluation recognizes it as quality work), and makes the paper « visible » in that people can look on papers published in « good » conferences or journals if they want to find « good » work in a certain area. However, there is no reason for these three aspects to be tied now that dissemination is not necessarily related to the physical, paper printing of the scientific contribution in a journal.

Cet énoncé, théoriquement intrigant, ne prend guère en compte les questions d’autorité et de pouvoir liées au monde académique. En présentant les choses ainsi, c’est postuler que la reconnaissance liée à la recherche peut être indépendante des résultats de cette recherche. Enfin, mettre en équivalence évaluation et reconnaissance est un signe d’une conjugaison un peu rapide…

Share