レビュアー格付けチェック

論文を雑誌に投稿し掲載されるまでに必ずお世話になる査読システムだが、冷静に考えるとシステムとして色々問題があるというのは結構昔から言われていることである。

査読について改めて説明すると、科学雑誌に投稿された論文の内容について、雑誌の担当編集者によるチェックとは別に、論文の内容に詳しそうな別の研究者によってチェックすることを言う。

この査読者(レビュアー)は、匿名であり、ボランティアである。
なぜ匿名なのかと言うと、評価してきたのが誰か分かってしまうと、「どうせこいつの評価だしてきとーに返事しとくかー」とか「めっちゃ偉い先生から評価来てるし全部真面目に答えないとやばい」とかのバイアスがどうしてもかかるからである。
そしてなぜボランティアなのかというと、そうしないとシステムが回らないからである。これはもう研究者の善意で成り立っているとしか言えない。

こういった匿名性や無償性はシステム上仕方ないとはいえ、どうしてもレビュアーのやる気と責任感を削ぐことがある。そりゃ適当にやっても真面目にやってもどうせ名前は相手にバレないし報酬も無いのだから、当然の帰結と言えよう。

さて、筆者が投稿した論文の査読が年末に帰ってきて、それに沿った内容の修正とレビュアーへの返答の作成が、今日の時点で9割方終わった。
残り1割は先生と相談したかったのだが、今日は先生が忙しかったので明日に持ち越しとなる。

ところで筆者の論文をチェックしたレビュアーは二人いたのだが、その二人からのコメントの質があまりにも違っていて面白かった。

まずレビュアーA。コメントの量は控えめ。そのうち2つほどは論理的ではないというか科学的ではなく、まあ言いたいことは分かるのでちょっと参考にして論文を修正したものの、返答にはお前の指摘はおかしいと反論を書かないといけない。追加の実験を1つ提案して来ているが、やってもやらなくてもいいとか言っているので、早く論文を通したいこちらとしてはまあやる気にならない。

次にレビュアーB。コメントの量が多く、文法のミスや記入漏れまで細かく徹底的に指摘してきている。Discussionの内容に足りない部分があるとも指摘しており、かなり興味を持って論文を読んでくれていることが伝わる。そしてほぼ全ての指摘が筋の通ったものであり、これに沿った修正により論文の質がみるみるうちに向上した。

レビュアーBの人はたぶん立派な研究者の方なのだろう。
一方レビュアーAの人は何だったんだろうか。どこかの学生さんだろうか。というかこんなガバガバなレビューを送ってくる人が万が一にも教授職の人間だとはあまり思いたくない。

レビュアー格付けチェックをやったとしたらBの部屋一択である。

説明を忘れていたが、レビュアーとして選ばれる研究者には大学院生も含まれる。
大学院生たる筆者は、大学院生の能力を全く信頼していない。たぶん他の研究者もあんまり信頼していないだろう。しかし、こうしないと人が足りないらしいのだ。
筆者にも近いうちに査読の依頼が来るかもしれない。ちなみに研究室の先輩はすでに依頼が来ているらしい。
そうなった時は、クソレビュアーだと思われないようにちゃんと仕事をしないといけない。