Peer-review : formule à diversifier ? [+ addenda]

Willard McCarty, qui tient à bout de bras la liste Humanist, y va d’un pavé dans la mare des périodiques académiques… Pavé dans la mesure où la tendance est à lapider sur la place publique le système du peer-review, qui aurait atteint ses limites par des dérapages (auxquels il fallait s’attendre) : effets de clan dans des domaines hyperspécialisés et compétitifs, refus d’admettre des nouveautés qui remettent en doute le canon scientifique de tel domaine, saturation des bons évaluateurs en raison de la croissance exponentielle de la publication du discours scientifique.

Pourtant, faut-il le rappeler, le principe fonctionne relativement bien en SHS. Comment l’expliquer ? La difficulté d’être vraiment sur le même terrain que plusieurs autres chercheurs, la diversité des lieux de publication, l’absence de course aussi effrenée à la publication (non en termes de volume mais en termes de rapidité d’accès à l’information ? celle-ci étant moins rapidement périmée en SHS qu’en sciences dures ou biomédicales).

C’est sur la question de la variabilité des formules d’évaluation des manuscrits qu’il revient :

I wonder if it is fair to put the blame on peer-reviewing,
which is bound to turn up human failings and perversities. I also
wonder if, given our greater diversity in ways to publish now that
the Web provides them, a cogent solution to whatever problems is to
use that diversity. J. Scott Armstrong (Warton School, Penn) argues,
for example,

Peer review improves quality, but its use to screen papers has met with limited success. Current procedures to assure quality and fairness seem to discourage scientific advancement, especially important innovations, because findings that conflict with current beliefs are often judged to have defects. Editors can use procedures to encourage the publication of papers with innovative findings such as invited papers, early-acceptance procedures, author nominations of reviewers, results-blind reviews, structured rating sheets, open peer review, and, in particular, electronic publication. Some journals are currently using these procedures. The basic principle behind the proposals is to change the decision from whether to publish a paper to how to publish it.

(« Peer Review for Journals: Evidence on Quality Control, Fairness, and Innovation », Science and Engineering Ethics 3 (1997): 63-84, http://cogprints.org/5197/01/peer_review_for_journals.pdf)

Il faut dire qu’il est étrange de voir, comme nouvelle formule pour contourner les problèmes du peer-review, la publication électronique comme un moyen en soi… Ca montre bien le fossé qu’il existe encore entre la notoriété du papier et le caractère improvisé de la publication en ligne…

Addenda :

Je recroise cet article qui va dans le même sens : les lieux de publication sont à diversifier (et on nous en donne quelques exemples). Toutefois, leur argument me paraît aller trop loin :

Separate the dissemination, evaluation/recognition, and retrieval aspects: today, with a publication, researchers achieve all of them. A publication disseminates the work, causes recognition for the authors (the peer evaluation recognizes it as quality work), and makes the paper « visible » in that people can look on papers published in « good » conferences or journals if they want to find « good » work in a certain area. However, there is no reason for these three aspects to be tied now that dissemination is not necessarily related to the physical, paper printing of the scientific contribution in a journal.

Cet énoncé, théoriquement intrigant, ne prend guère en compte les questions d’autorité et de pouvoir liées au monde académique. En présentant les choses ainsi, c’est postuler que la reconnaissance liée à la recherche peut être indépendante des résultats de cette recherche. Enfin, mettre en équivalence évaluation et reconnaissance est un signe d’une conjugaison un peu rapide…

Share

TNN : baliser un domaine de recherche

Jill fait écho au Tags Networks Narrative, projet britannique visant à rassembler les chercheurs autour de la notion de récit. Objectif ? tenter de baliser ce champ de recherche par un système de tags spécifique.

Communauté scientifique recherche balises apparentées, pour communication améliorée. Anti-web 2.0 s’abstenir. Contacter TNN ou lire le blog.

Share

OAIster: 10 millions d'entrées… et quelle incidence ? [addenda]

Le dépôt open-access le plus important, OAIster, atteint les 10 millions d’entrées et se refait une beauté. Le principe est séduisant et honorable, mais son fonctionnement par principe interdisciplinaire (ou les méchants diront « hétéroclite ») rend son contenu extrêmement disparate.

Marin Dacos résume ainsi sa mission :

confirmer la validité de la démarche des archives ouvertes, d’une part, et du protocole OAI, d’autre part, comme moyen de faire émerger une véritable dynamique de libre accès à la littérature scientifique dans le monde

Il faut pour l’instant être visionnaire et croyant pour voir là un compétiteur éventuel aux gigantesques moteurs de recherche. Pour une raison simple : OAIster se situe dans l’entre-deux inconfortable ? trop petit pour compétitionner véritablement avec les Google de ce monde, trop grand pour être considéré en tant que rassemblement thématiquement fort. Ce n’est pas tant une question de fonctionnalité qu’une question d’image : à quel outil ce site renvoie-t-il ?

(Sources : Humanist / Blogo Numericus)

Addenda :

Je trouve justement aujourd’hui un nouvel exemple d’un cas restreint thématiquement fort : Nines, moteur de recherche spécialisé en 19e siècle, constitué à partir du rassemblement manuel de certains sites-sources. Sorte d’?illères appliquées à un moteur de recherche, pour l’éviter de se perdre dans la webosphère…

(Source : Humanist)

Share