Peer-review : formule à diversifier ? [+ addenda]

Willard McCarty, qui tient à bout de bras la liste Humanist, y va d’un pavé dans la mare des périodiques académiques… Pavé dans la mesure où la tendance est à lapider sur la place publique le système du peer-review, qui aurait atteint ses limites par des dérapages (auxquels il fallait s’attendre) : effets de clan dans des domaines hyperspécialisés et compétitifs, refus d’admettre des nouveautés qui remettent en doute le canon scientifique de tel domaine, saturation des bons évaluateurs en raison de la croissance exponentielle de la publication du discours scientifique.

Pourtant, faut-il le rappeler, le principe fonctionne relativement bien en SHS. Comment l’expliquer ? La difficulté d’être vraiment sur le même terrain que plusieurs autres chercheurs, la diversité des lieux de publication, l’absence de course aussi effrenée à la publication (non en termes de volume mais en termes de rapidité d’accès à l’information ? celle-ci étant moins rapidement périmée en SHS qu’en sciences dures ou biomédicales).

C’est sur la question de la variabilité des formules d’évaluation des manuscrits qu’il revient :

I wonder if it is fair to put the blame on peer-reviewing,
which is bound to turn up human failings and perversities. I also
wonder if, given our greater diversity in ways to publish now that
the Web provides them, a cogent solution to whatever problems is to
use that diversity. J. Scott Armstrong (Warton School, Penn) argues,
for example,

Peer review improves quality, but its use to screen papers has met with limited success. Current procedures to assure quality and fairness seem to discourage scientific advancement, especially important innovations, because findings that conflict with current beliefs are often judged to have defects. Editors can use procedures to encourage the publication of papers with innovative findings such as invited papers, early-acceptance procedures, author nominations of reviewers, results-blind reviews, structured rating sheets, open peer review, and, in particular, electronic publication. Some journals are currently using these procedures. The basic principle behind the proposals is to change the decision from whether to publish a paper to how to publish it.

(« Peer Review for Journals: Evidence on Quality Control, Fairness, and Innovation », Science and Engineering Ethics 3 (1997): 63-84, http://cogprints.org/5197/01/peer_review_for_journals.pdf)

Il faut dire qu’il est étrange de voir, comme nouvelle formule pour contourner les problèmes du peer-review, la publication électronique comme un moyen en soi… Ca montre bien le fossé qu’il existe encore entre la notoriété du papier et le caractère improvisé de la publication en ligne…

Addenda :

Je recroise cet article qui va dans le même sens : les lieux de publication sont à diversifier (et on nous en donne quelques exemples). Toutefois, leur argument me paraît aller trop loin :

Separate the dissemination, evaluation/recognition, and retrieval aspects: today, with a publication, researchers achieve all of them. A publication disseminates the work, causes recognition for the authors (the peer evaluation recognizes it as quality work), and makes the paper « visible » in that people can look on papers published in « good » conferences or journals if they want to find « good » work in a certain area. However, there is no reason for these three aspects to be tied now that dissemination is not necessarily related to the physical, paper printing of the scientific contribution in a journal.

Cet énoncé, théoriquement intrigant, ne prend guère en compte les questions d’autorité et de pouvoir liées au monde académique. En présentant les choses ainsi, c’est postuler que la reconnaissance liée à la recherche peut être indépendante des résultats de cette recherche. Enfin, mettre en équivalence évaluation et reconnaissance est un signe d’une conjugaison un peu rapide…

Share

OAIster: 10 millions d'entrées… et quelle incidence ? [addenda]

Le dépôt open-access le plus important, OAIster, atteint les 10 millions d’entrées et se refait une beauté. Le principe est séduisant et honorable, mais son fonctionnement par principe interdisciplinaire (ou les méchants diront « hétéroclite ») rend son contenu extrêmement disparate.

Marin Dacos résume ainsi sa mission :

confirmer la validité de la démarche des archives ouvertes, d’une part, et du protocole OAI, d’autre part, comme moyen de faire émerger une véritable dynamique de libre accès à la littérature scientifique dans le monde

Il faut pour l’instant être visionnaire et croyant pour voir là un compétiteur éventuel aux gigantesques moteurs de recherche. Pour une raison simple : OAIster se situe dans l’entre-deux inconfortable ? trop petit pour compétitionner véritablement avec les Google de ce monde, trop grand pour être considéré en tant que rassemblement thématiquement fort. Ce n’est pas tant une question de fonctionnalité qu’une question d’image : à quel outil ce site renvoie-t-il ?

(Sources : Humanist / Blogo Numericus)

Addenda :

Je trouve justement aujourd’hui un nouvel exemple d’un cas restreint thématiquement fort : Nines, moteur de recherche spécialisé en 19e siècle, constitué à partir du rassemblement manuel de certains sites-sources. Sorte d’?illères appliquées à un moteur de recherche, pour l’éviter de se perdre dans la webosphère…

(Source : Humanist)

Share

PKP Colloque sur les revues électroniques

Idée intéressante de rassembler les penseurs, les utilisateurs de plateforme et les utilisateurs des revues dans un grand colloque. Ca me paraît très étiqueté OJS, mais on ouvre la porte à d’autres logiciels… La même formule pourrait être envisagée du côté français, autour de Lodel, tiens.

(source : Humanist)

First International PKP Scholarly Publishing Conference Vancouver, July 11-13, 2007

WEBSITE: http://pkp.sfu.ca/node/493

Lire la suite

Share

Revues savantes : comment combler le vide entre l'intelligence collective et l'intelligence collaborative ?

Je reste (encore) avec un air de perplexité devant un système de tags.

Peut-être suis-je conservateur (eh ben). Peut-être suis-je trop ancré dans mon milieu disciplinaire (peut-être). Peut-être suis-je encore trop centré sur la valeur des lieux éditoriaux ? et par là sur l’usager.

Wired nous reflanque au visage un article sur les open peer-reviewed journals. Ouep, intéressant. Mais encore.

Ça me paraît un étrange réflexe que de toujours tenter de boucher les trous, de combler les lacunes du système actuel. Car il est évident que le mode de validation du savoir scientifique, l’évaluation par les pairs, connaît des ratés, des ratés qui concernent tout particulièrement la soumission des articles et leur sanction. Ainsi donc, les nouveaux prototypes visent à contourner les points faibles du système. La complaisance des pairs dans l’évaluation (ou leur sadisme), la lourdeur/lenteur du processus et son institutionnalisation n’en sont pas les moindres désagréments.

Vouloir supplanter ce processus en offrant un lieu régi par un principe d’open peer-review ? voilà ce qu’offre PLoS ONE, auquel réfère l’article de l’Associated Press, repris par Wired. Que cela donnera-t-il ?

« If we publish a vast number of papers, some of which are mediocre and some of which are stellar, Nobel Prize-winning work — I will be happy, » said Chris Surridge, the journal’s [PLoS ONE] managing editor.

Hourra, nous avons trouvé solution au problème…? Mais qui saura identifier le Nobel-Prize winning work avant que l’académie danoise se réunisse ?

Lire la suite

Share

Ficeler l'enseignement du premier cycle avec la recherche ?

Le toujours stimulant Geoffrey Rockwell propose une réflexion sur les façons de lier enseignement et recherche ? ou à tout le moins en recense-t-il les modalités envisageables.

Undergraduate research

Intéressante la citation finale de Malachowski, où il y a opposition entre results-oriented approach et process-oriented approach. D’une certaine façon, c’est lier une préoccupation pédagogique, un souci pour la méthodologie et un intérêt pour la recherche, le tout pour en arriver à une façon différente d’envisager la transmission (!?) de savoir.

Share