标题：[转帖]学术领域初创企业Publons希望改变传统同行评审程序

今天审稿一篇文章，几乎占用了我一天的时间，当然中途被许多其他的事儿打断。虽然是篇很没有意思的稿子，但文章还是有些明显的优点，我不得不耐着性子将全文阅读了一遍，这是本月评审的第三篇稿件了，还有一篇稿子没有审完，已经被催过一次了。由于手头有这么多稿子，昨天和前天的审稿邀请我只得拒绝了。类似这样平均每月收到10篇左右的审稿邀请是个常态，但我只有时间来审阅其中的3-4篇稿子。另外，作为一个国际学术杂志的副主编（Associate Editor），我目前手头还有4篇稿子正在处理，每周至少也要花数小时的时间来寻找合适的审稿人和阅读审稿意见，有时候还得自己认真读一遍稿子。这些事儿，虽然花了许多时间，但都无法反映到我的工作业绩中，只能在简历中轻描淡写地说一下。如果不是兴趣和责任驱使，相信类似我这样的审稿人是不会花时间来做这些费力不讨好的事儿的。类似的困惑，许多审稿人都有吧。前两周，Nature周刊上连续发表的两篇文章^{[1, 2]}，也正好在谈论这个问题，文章后面参与讨论的人也挺多，说明大家有许多的共识。本文将结合这两篇文章及文后的讨论谈谈这个话题。

审稿论文是科学家们最重要的工作之一，但审稿者为杂志进行匿名审稿，但并没有得到过所谓的报偿，也很少有人会因为这个没有任何报酬的工作而获得好评。如何认识学者们花费时间进行同行评议的贡献？学者们是如何想的，又是如何处理的呢？有没有更好的办法来改善这种状态呢？目前许多人正抱怨他们被同行评议的邀请所困扰。如果研究人员可以使用他们的评审记录来强调他们为投资方和政府机构所表现的专业知识，如果有足够的信息可以公开，可以更清晰地揭示科学家审稿的平均数量和类型，是不是可以有所改观呢？来自新西兰的天使投资人资助30万美元而建成的Publons，正试图改变这种状况。这个公司还奖励过那些从亚马逊网络服务（Amazon Web Services）获得credit的最佳审稿者。Publons鼓励研究人员将他们审稿的历史张贴到网上。Publons网站自称可帮助审稿者进行记录和展示，并验证其同行评议活动。只需上传同行评议的历史，选择公开多少信息，然后就可以正式进行评审记录了，这可用于以后的晋升和课题申请中。

Publons的共同创办者Preston认为，同行评议是科学研究的重要支撑之一，但评审人并没有因为审稿而得到承认。而且，除了少数例外情况，一旦所审的文章出版了，他们之前的审稿内容就被丢弃。虽然这些内容是很有价值的，但却被浪费了。我们想鼓励大家将这些同行评论和讨论分享出来。第一步是把同行评议以可度量的方式展示出来。科学家可以注册到Publons并记录他们的同行评议历史，不管是出版前还是后都记录在档。出版前审稿的文本是不显示的，除非杂志允许，但我们要得到一个审稿收据，或者我们在后台与杂志编辑来联系，以确认有这么一个审稿过程。我们正在与杂志合作来简化这一过程，这样审稿记录可以自动更新。如果一个杂志是匿名评审的，这个平台仍可以用于评定审稿者的学术信誉积分（credit）。为什么科学家乐意公开列出他们的同行评议记录？当一个人被邀请审稿，说明这个杂志的编辑认为你是该领域的专家。Publons正是要强调这种专长，而用户可在他们的简历中使用这些记录并可藉此申请编辑委员会的工作。同行评议对论文发表的重要意义并未完全得到认识，如果没有评价和和质量控制，整个系统将会崩溃。如果Publons能用于突出评议人的重要作用，并让这个作用更加明显，那么在学术界将是一个非常棒的服务。

科学家在一年接受多少篇稿件的同行评议才是合理的呢？许多研究人员估计是二三十篇。有些出版商也正在加大力度奖励他们的杰出审稿人。Publons是希望建立一个跨出版商的平台，与出版商的活动仅限制在自己平台是不同的。出版商也正在参与更广泛的讨论来为研究者的ORCID（开放研究者与投稿者标识）建立一个标准公开记录其同行评审服务。还有许多机构也正在尝试建立评定同行评审贡献的平台。文章采访了两位杰出的审稿人。根据Publon网站记录的审稿信息，以及审稿得到他人的赞许等，德国基尔大学研究纳米材料的Yogendra Kumar Mishra在过去三个月荣获最佳审稿者的桂冠；另一个是之前因为审稿数量多而获得此殊荣的挪威特罗姆瑟大学的鱼类生物学家Malcolm Jobling。那么Publons的顶级评议人每月审多少稿子？Jobling说：“我今年已审了超过125份稿件，自过去三个月在Publons注册以来已经登记了39篇。一般每年我大约要接受100篇审稿，我相信这远远超过大多数人”。Mishra说：“我每月大约审稿5篇，在过去三个月在Publons上登记了22篇。我不知道其他的科学家的情况，但大多数人应该是每月3-5篇这个数”。与Jobling相比，我的审稿数量是相形见绌了，因为看英文稿子对我来说，还是太累了。当然，有人在后面评论说Jobling今年已经审稿的数量超过125篇是无法保证审稿质量的。

记录审稿数量仅仅是个开始。一个可大大提高论文质量的深思熟虑的审稿可能会花费数天时间，而一个草率评审人能在几个小时内完成许多论文的评审。因此，下一个挑战是要找到一种方法来评估评审质量。许多杂志的编辑们，对于“好”与“坏”的评审人都有一个非正式的看法。但是这些判断一般不会与同行进行分享，而且不同编辑的认识可能也会有所不同。它包括对所有审稿人每年对各期刊的审稿情况，包括审稿数量和相对质量，评定质量需要多个准则，比如包括杂志编辑对审稿人的认定进行比较。研究机构可以使用这些数据来评价研究人员的绩效。有人对此评价：我同意为了给审稿人得到适当的学术信誉，评审报告的质量是需要考虑的，因为审稿远不是比的数量和速度。目前有用于这一目的工具，如van Rooyen及其同事报道的评审质量工具（Review Quality Instrument）通过凡Rooyen和同事描述了复习的质量工具(J Clin Epidemiol.1999;52:625-629)。我们用它来评估了两份生物医学中心期刊的审稿质量。有趣的是，我们发现在公开同行评议报告中的质量比匿名同行评议要高5%。

每个审稿要占用多长时间，有多少会被拒绝？Jobling说：“这个变化很大。我可能会花约3小时审一篇很差的稿子；对于一篇优点突出但需要进行重大修改的稿件，我可能会花12小时的时间。我所拒绝的审稿邀请约为实际审稿的三倍。审稿邀请正在越来越越多（审稿越多，审稿邀请也会越多，因为编辑会选择那些乐意接受审稿邀请的人）。如果一天有四或五篇审稿请求，我会感到不知所措，但这种情况不是偶然的”；Mishra说：“这完全取决于论文的水平以及所投稿的杂志。我一些同事说他们不接受影响因子低的期刊的审稿邀请，但我会接受。审稿邀请数量增加很快。对我来说，论文的主题是接受审稿的标准，我不审自己没有兴趣的论文”。有人针对这个问题评论说：奖励评审人展开了受欢迎的第一步。然而，这篇文章本身也说明需要多少科学评论才是真正足够的。引用评审人自己的话，审一篇稿子需要花费3-12小时的时间，其实这对Nature这样高质量的科学论文来说是远远不够的，因为这通常包含数十个子实验和大型统计的内容。

出版前的同行评议应该公开吗？评议人应该是匿名的吗？Jobling说：“我支持一旦论文发表，而且杂志、作者和审稿人都同意，就应该公开评审内容。理想的情况是，这样的整个过程应该是透明的，从稿件第一次投稿通过初审、修改、复审等等。目前我保持我的匿名评论状态——我做过一些具名的评审，但这种场合有时会被作者联系，他们不是期望得到额外帮助，似乎是想让我为他们修改稿件。因此，我现在选择匿名审稿”；Mishra说：“在我看来，肯定不应该进行公开评审。我知道有些人在Publons上这样做，但我是不会这样的”。公开评审记录和获得奖励的最终方向并非明确。Publons等类似机构希望会有更多的开放，然而出版前的评论多数是秘密的——许多研究者对公开他们进行批评的审稿信息感到不安，因为害怕在其职业生涯中其他地方受到报复。如果这种文化没有发生转变，还应努力将注意力集中在如何匿名计算审稿者的学术信誉。Preston说：“我们几乎对所有的同行评议记录都是不公开的，我们只能记录信用，而不是评论文本。Peerj和GigaScience是进行公开评审的，可以自动导入文本到Publons，我们也索引其他公开评审的网站如F1000。无论是什么类型的评审，我们的目标是建立一个积极的文化，在这里评审人的贡献得到承认，作者、评审人和和编辑都从中受益。同时，我乐意看到发表后评论景观的发展，当大家都准备这样做之前，必须要有一个诱因来促进审稿或评论。我们相信，这将创建一个跨出版商的形象，无论在什么地方评议，都会被得到承认。”

在文章后的留言中，有一个看上去是为PeerJ做广告的评论：PeerJ 将为所有评议人的辛勤工作致敬。透明、公平、高质的同行评议应该是一个好的学术出版环境最重要的因素。在我们的系统中，我们让审稿人自己择是否提供自己名字（目前，约 40%的人选择这样做）。我们也为作者提供一个选择，是否让他们的同行评议审稿历史完全公开（目前，约有 80%的人选择这样做。所有发表的审稿意见，都被分配为一个DOI。当一个人审稿人选择了提供自己的名字，那么他们的个人资料就会呈现出来并给予全学术积分（如果作者选择了让评审历史公开，那么评审的文本当然也就可公开阅读了）。

当然，作为讨论，也肯定有反对意见的，这些意见看上去也非常有道理。有人评论说：我总体上不同意让同行审查获得更多的奖励。为什么科学家要审稿？我们不审稿是因为杂志邀请我们为杂志免费工作。其实，科学界中大家都是在为彼此工作。毕竟，科学家进行同行评审也是在为自己。这就是一个科学界的标准。在我心里，同行评议是作为科学家对科学过程的重要贡献，我们必须履行这一职责。我担心的是，试图量化或评定审稿人可能会导致这种情操受到侵蚀。这整个活动的逻辑结果是企图把同行评议变成一种商品，需要某种形式的经济认可。是的，科研资金是不足的。是的，科学家们通常没有得到足够的报酬。但是我们也会不好的评论。如果同行评议继续保持匿名和表面上位获得报偿，至少我们知道科学家们是因为他的义务而评审的。相比于其他的任何奖励，不管是直接的经济认可还是什么排名，我宁愿保持现状。还有人义愤填膺地说：最好的同行评议制度是让审稿人认识到他们的身份为作者（服务），但作者没有感觉到。一些评审人，傲慢而势利，滥用权利，他们认为同行评议是一个拒稿的过程，而不是帮助作者改善他们的稿件。这种傲慢，在Nature和Science审稿中体现得淋漓尽致。

另外，有人提出的一些新的问题也值得深思。有人评论说：评审人有时对稿件进行了一些智力输入，比如要求额外的实验，或建议更好的解释，但这些贡献并不会被目前的出版模式所识别。未来的期刊是否可以刊发具有许多评审的文章。这种格式有点类似于现在的博客，可确定审稿人的智力贡献，让更多的人来参与评审而不仅仅是2-3名，这有助于区分来自实验的科学理论的发展，那可能是完全不同的东西。对科学的一些负面评价是，科学阻碍了一些与目前认识不相符的新发现。让有争议的论文发表出来，而后面的评论是会提醒读者来辨别的。

总之，这些文章和讨论呈现了一个有趣的发展，向公平迈进了一步。它肯定会重新打开学术信誉的争论，特别是在这样一个时代——研究者想获得更多的资金资助，学术和研究机构要求他们提供更多可统计的科研产出和学术信誉。

http://blog.sciencenet.cn/blog-502444-838360.html