为什么“同行评审”如此不靠谱? 爱因斯坦的颠覆性创新突破“5金文“是如何躲过“同行刽子手”!?
发布时间:2018/5/10 9:27:21 浏览次数:330
分享到:

1 爱因斯坦奇迹年的5篇论文经过同行评议了吗?
作者| 刘进平
  《那些著名论文不经审稿直接录用? 》 受到了杨老师的质疑,我就到网上做点功课,弄清爱因斯坦发表论文的情况:
  在爱因斯坦时代,学术评审的过程是不同的。在他辉煌的职业生涯中,他唯一一次受到匿名同行评议——作者不了解评审者,反之亦然——他对现在科学的黄金标准表示出蔑视。
  爱因斯坦的职业生涯的第一部分是在德语世界。在德国物理学期刊爱因斯坦发表了他的突破性论文,当时并没有我们今天使用的同行评审系统。
  例如,爱因斯坦在1905年将他的四篇著名论文在《Annalen der Physik》发表,当时这些论文并没有采用我们今天所谓的同行评议过程。该杂志的接受率非常高(约为90%-95%)。有鉴别力的编辑对出版的内容做出最后的决定。
  许多核心科学发现不是用现代标准同行评审的。例如,在1953年James Watson和Francis Crick描述的DNA双螺旋结构基础论文在《自然》发表,由于其推测性质,如果用我们现行的典型同行评议很可能就发表不了。
  著名的《自然》杂志,同行评议制度只在1967年才正式引入。
  只有在爱因斯坦1935年来到美国后,他才面对同行评议的过程。他和他的年轻同事纳森·罗森将论文寄给美国物理杂志《Physical Review》,论文是关于引力波。这篇论文具有潜在的争议性,因为它挑战了引力是波浪的观点。
  杂志编辑约翰·泰特在爱因斯坦的论文上犹豫了一个月。然后他把它寄给审稿人发表评论——他选中的评论家可能是著名的Howard Percy Robertson,爱因斯坦在普林斯顿的同事之一。审稿人返回了十页的评论,这些评论对论文中许多中心主张产生了怀疑。编辑把这些评论还给了爱因斯坦,要求他考虑这些问题,并作出他认为必要的任何改变。
  以下是爱因斯坦的反应:
我们(罗森先生和我)已经把我们的手稿寄给你们出版,没有授权你们在印刷之前向专家展示。我看不出有什么理由让你们的匿名专家发表评论。基于这一事件,我更喜欢在别处发表论文。(We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorised you to show it to specialists before it is printed. I see no reason to address the – in any case erroneous – comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.)
  尽管他从《Physical Review》撤回了这篇论文,但爱因斯坦还是把它发表在更为低调的《Journal of the Franklin Institute》上。然而,发布的版本包含了实质性的修订。看来这些修正很大程度上是他与Robertson讨论的基础上进行的。修改后的版本可能使他免于原文出版后的尴尬。
见:
Hate the peer-review process? Einstein did too - The Conversation
theconversation.com/hate-the-peer-review-process-einstein-did-too-27405
The Hundredth Anniversary of Einstein's Annus Mirabilis - arXiv
arxiv.org/pdf/physics/0504157
  刚才看了一个编辑写的书,说1905年爱因斯坦的狭义相对论和光电效应的论文,在投给普朗担任编辑的《Annalen der Physik》期刊后,直接录用。
  还有一个是沃森和克里克的关于DNA双螺旋结构的论文,在投给《Nature》后,也是直接录用。
  这种情况考验编辑的直觉和眼力,如果编辑认为文章确实了不起,没必要经过几个月的时间审稿,那么对论文和期刊都是很好的。著名论文成就著名期刊,反过来也一样。
2 为什么「同行评审」如此不靠谱?
  如果拿一件事激怒所有的科学家,那就是同行评审。
  为了筛掉那些注水的科研,你必须拿出宝贵的业余时间免费检查同行的论文。你不仅得不到感谢,还拖慢了发表过程,而更糟心的是,几乎没有证据显示这种科研方法真的有效,这一过程本身也充满了不可告人的秘密。
  这个最新的研究也许解释了为什么同行评审搞不好,以及为什么它无法保证科研质量。它的主要发现就是很小一部分研究者承担了大部分同行审议的工作。
  来自巴黎第五大学的研究者们使用了一个数学模型来评估生物医药研究领域同行评审的供需关系。我们终于首次见识到同行评审带来的“全球性负担”。
  2015年,他们发现同行评审人员的供给超过需求多达250%,也就是说,有大量学术界人士可以审查这些研究。但是,其中20%的人完成了70%-95%的评审工作。所有这一小部分专家做了大部分工作。
  “这可能意味着大量评审人员从未做过评审工作,”研究合著者,来自波士顿大学的Ludovic Trinquart说。
  举个例子,根据爱思唯尔和威立这两家全球最大的学术出版商的数据库,同行评审的工作基本都落在了美国科学家的头上。“中国研究者发表的文章数量是他们评审的文章数量的两倍,”研究者写到。
  同行评审中,偶尔也会出现注水研究和学术欺骗这样的漏网之鱼。可能的原因就是研究者们没有公平合理地分担评审压力。Trinquart说的更简单:“少数评审人员工作量太大。”
  新研究还量化了同行评审花费的时间。对大部分评审人员而言,时间很少——除了那一小部分加班加点的可怜虫。
  “在实际参与同行评审的研究者中,70%贡献了1%或者更少的工作时间,5%贡献了13%或者更多的工作时间,”研究者写到。还是那句话,大部分人都没有花时间做这件事,一小部分人花费了可观的时间来检查同行的研究。
  研究者估计,2015年,同行评审一共花去了约6300万小时,其中近20%的时间都是来自最「慷慨」的5%。
  “同行评审应建立在交换补偿的基础上,做的评审比发的论文少是不够的。这种二八分布是有问题的。系统需要改进,未来的同行评审需要强调大家付出的努力,” Trinquart说。
  同行评审通常始于研究者向期刊提交文章之后。如果编辑认为这篇文章有干货,就会发给同领域的专家,获得他们的评论、批评或者拒绝。
  但是《英国医学杂志》前编辑Richard Smith说:“我们几乎没有证据说明同行评审有用,但却有大量证据说明它的缺点。”
  实际上,不同的期刊拥有不同的匿名评审制度:有的是双盲评审,有的是三盲评审,即作者、编辑和评审人员都不知道彼此。一些期刊使用了一种开放式合作过程;有些使用了“后同行评审”,即学者们能在文章发表后对彼此的研究发表意见。
  鉴于同行评审本身缺乏科学依据,研究者们一直在呼吁更理想的过程。循证医学研究者Drummond Rennie近日在《自然》杂志上写到:“我们需要严谨透彻地研究目前这些同行评审方法的好处和坏处。在此之前,不要听风就是雨,将来出了偏差要负责任的。”
  Drummond建议,那些担忧同行评审的科学家们要学习一下临床实验研究者们,因为他们在这个领域一直在推动更高的质量标准和透明度。
  Trinquart对此很支持,而且他希望给学术出版界施加压力,让它们开始分享同行评审数据。
  “临床实验可以被视为一项公益事业,参与研究的病人数据是公开了,但是大多数时候的临床数据都被制药业紧紧攥在手里,”他说。他认为同行评审数据也应该被视为一项公益,参与评审的科学家的数据,还有出版界的数据都应被分享。
  “很多针对同行评审的问题,只要有了同行评审或者评审报告的整合数据,都能迎刃而解,”他提到。比如说,在这套系统中,文章被拒后,有多少会重新投给其他期刊呢?这个数据没人知道。随着更多研究的开展,这块学术界的短板将会慢慢被补齐。
  本文译自 vox,由译者 许叔 基于创作共用协议(BY-NC)发布
3 学术造假,同行评议真的可信吗?


图片作者:Dale Edwin Murray。图片来自:Nature

  很多学术期刊的编辑都清楚,说服一名研究者在百忙之中抽出时间参与论文同行评议是多么不容易的事。正因为如此,《酶抑制与医药化学期刊》(The Journal of Enzyme Inhibition and Medicinal Chemistry)的编辑对韩国庆州市东国大学的药用植物研究员文亨仁(Hyung-In Moon)投稿的论文产生了困惑。疑问的对象并不是论文本身,而是对该论文进行的同行评议。
  这些评议内容本身并没有什么特别之处:其中对文亨仁的研究论文作出了总体积极的评价,并提出了一些可以改进之处。它不寻常的地方在于反馈时间特别迅速:评议人从收到论文到完成评议的时间往往连24个小时都不到,这样的速度实在是太快了。因此,期刊主编克劳迪乌?苏普兰(Claudiu Supuran)开始产生了怀疑。
  2012年,苏普兰就此事与文亨仁对证。文亨仁承认,这些“同行评议”完成的如此之快,是因为其中有很多都是他自己所写。没费多少功夫,文亨仁的骗局就被彻底拆穿了。苏普兰任职的期刊与其他几份英富曼卫生保健(Informa Healthcare)出版社旗下的期刊都会允许论文作者自己推荐几名同行评审员,文亨仁正是利用了这个漏洞。在他提交的名单中,有的名字是真实存在的科学家,有的是虚构的假名,而随姓名附上的电子邮件地址也都是伪造的:这些邮箱接受的邮件会直接发到他本人或同事的信箱里。文亨仁承认造假行为后,英富曼出版社旗下的几份杂志共撤回了28篇相关论文,并有一名编辑因此辞职。
  文亨仁并不是同行评议欺诈的唯一一个案例。在过去的两年中,各大学术期刊就因为6起同行评议舞弊事件而撤回了超过110篇论文。这些案例的共同之处在于,研究人员发现并利用了出版社计算机系统的漏洞,用自己炮制的“同行评议”瞒天过海,使论文得到编辑认可。这些案例涉及多家学术出版巨头,包括爱思唯尔(Elsevier), 施普林格(Springer), 泰勒弗朗西斯(Taylor & Francis), 赛捷(SAGE)、威立(Wiley), 以及英富曼。
  无论怎么严防死守,软件还是可能出现问题。因此一些观察家提出,论文评议的方式应该有所改变,尤其是应该停止由作者自行推荐评审人的做法。甚至文亨仁本人也提出,应该加强对整个系统的监管,以对付像自己这样的人。文亨仁本人在2012年曾表示:“论文作者理所当然地会请自己的朋友对论文进行评审,但编辑们应该检查评审人的身份,至少确认他们与作者不是就职于同一家科研单位,或者两人以前没有合作发表过学术文章。”
同行评议循环
  文亨仁事件引来了不少关注,但这还不是近年来最引人注目的一次同行评议作假。这一“殊荣”要授予发生在2013年5月的一个案例。一天,时任《振动与控制期刊》(Journal of Vibration and Control)主编的阿里?内法赫(Ali Nayfeh)收到了几条令人困扰的消息。一篇向该期刊投递过论文的作者告诉内法赫,他收到了两个自称是他论文评审员的人发来的邮件。评审员本不应该直接与作者联系,而且更令人疑惑的是,这两个人使用了名称相近的Gmail账户,而不是研究机构的电子邮件地址。
  内法赫立即将此事通报给了出版商赛捷公司。公司总部的编辑向这两个gmail邮箱以及其中提及学者的机构邮箱分别发送了邮件,请对方证明自己的身份。只有一位科学家回复了邮件,称自己并没有向原论文作者发送过审稿意见,他的研究方向也与这篇待评议论文领域完全不同。
  接下来,赛捷公司对此进行了长达14个月的调查。结果发现,事件涉及的邮件地址与出版管理系统ScholarOne中的一些账户有关,很多出版公司都在使用这一系统。赛捷公司发言人贾米尔?甘博亚(Gamille Gamboa)称,编辑可以通过此系统追踪每个账户使用者曾经撰写或评审过的论文。他们还对论文评议的措辞、作者指定评审人的详细资料、论文参考文献资料、以及论文评审人从收到论文到完成评议的时间进行了调查。通过调查,人们共找出了130个可疑的账号。
  赛捷公司的调查员发现,这些可疑账户的使用者间互相评议、引用彼此论文的频率极不正常。最后,调查员确定,有60篇论文存在同行评议造假、论文互相引用的情况。
  当调查尘埃落定,人们发现有一名学者处在整个事件的中心:时任台湾国立屏东教育大学副教授的陈震远。所有可疑文章的作者栏中都能找到陈震远的名字。甘博亚称,在收到了来自陈震远“一系列无法令人满意的回复”之后,赛捷公司联系了国立屏东教育大学,随后学校也参与到了调查当中。最终,陈震远在2014年2月辞职。
  在五月份,内法赫也因为这次丑闻引咎辞职。赛捷公司联系了60篇可疑文章的作者,告知他们这些论文将被撤回。陈震远本人未就此事直接发表评论,但台湾媒体报道称陈震远发表声明,表示愿意承担同行评议造假与循环引用的全部责任,并承认有在对方不知情的情况下,将台湾教育部部长的名字添加到共同作者名单中的“轻率行为”。台湾教育部长蒋伟宁否认自己与此事有关,但为了“保持个人声誉并避免教育部长的工作受到不必要的干扰”,他随后也辞去了教育部长的职务。
  这一事件带来的连带影响并未就此结束。甘博亚称,有几名论文作者找到赛捷出版公司,要求后者重新考虑收回决定并恢复自己的论文发表。但出版商的决定已无法更改,即使这些作者对陈震远其人及同行评议造假事件都毫不知情。
密码漏洞
  文亨仁和陈震远在造假过程中都利用了ScholarOne系统中的漏洞。当一名学者被邀请进行论文评议,系统会向他/她发送一封含有登录信息的邮件。如果这封邮件发到了一个“伪装”的邮箱地址,收件人通过它就可以用其注册的任何用户名登陆系统,而无需再经过身份验证。
  自然出版集团(Nature Publishing Group)旗下有一些期刊也使用ScholarOne系统,但《自然》和含有“自然”字样标志的期刊使用的是另一套系统,由位于马里兰州罗克韦尔的eJournalPress公司出品。《自然》期刊的执行编辑、自然出版集团在纽约的作者与评审员办公室主任维罗尼克?基尔梅(Véronique Kiermer)称,自然出版集团似乎并未成为此类同行评审丑闻的受害者。
  然而,存在漏洞的出版系统并不止ScholarOne一家。Aries System公司制作的“编辑管家”(Editorial Manager)软件也是一个例子。这个系统被很多出版机构广泛使用,其中包括施普林格出版社(Springer)与美国公共科学图书馆(PLOS)。
  编辑管家系统的问题出在密码管理上。如果用户忘记密码,系统就会直接把密码以文本的形式发送到用户的邮箱中,这很容易导致密码泄露。而现在,包括谷歌在内的很多网络服务商都会通过一系列加密算法隐藏用户的密码。为保证用户密码不被泄露,这些服务商会要求用户在忘记密码时重新设置密码,并通过一系列其他办法验证用户身份。
  这些安全漏洞的危害远不止于同行评议造假。很多人在使用不同的网络服务时往往会设置相同或相似的密码,这其中包括他们的网络银行和在线购物网站账号。系统将用户密码直接发到邮箱的做法会给黑客带来可乘之机,造成科研领域以外的损失。丁格曼斯也在包括《公共科学图书馆?综合》等一些使用编辑管家系统的期刊上发表过文章,他说:“令人惊奇的是,这些期刊居然没有建立一个安全的系统。”面对一系列类似的质疑,Aries公司和《公共科学图书馆?综合》期刊均未发表任何回复。
  安全举措
  漏洞百出的密码保护措施造成了破坏性后果。2012年,爱思唯尔公司下属期刊《光学与激光技术》(Optics & Laser Technology)收回了11篇论文,原因是有不明身份者获得了登录编辑账号的权限,并将这些论文发给了“冒牌评审员”。这些论文的作者并未受到此次黑客入侵事件的太大牵连,他们也得到了重新提交稿件的机会。
  此后,爱思唯尔便开始采取措施防范论文评议造假,这其中包括一项将旗下100多个期刊系统中的账号进行整合的试点项目。爱思唯尔的发言人汤姆?雷勒(Tom Reller)表示,这一做法的理论依据是,减少系统中账号的数量,可能会使发现虚假账号变得更容易。如果该试点被证明有效,爱思唯尔预计将在2015年在旗下所有期刊系统中全面推行这一方法。另外,在绝大多数编辑系统的往来邮件中,将不再包含用户的密码信息。为了验证论文评审员的身份,编辑系统还引入了统一的身份验证编码(the Open Researcher and Contributor ID ,ORCID):每位研究者都将得到一个唯一的身份号码,就算供职的研究所发生变化,仍可以通过此号码追踪他们全部的学术发表情况。
  ScholarOne系统也引入了ORCID,但如何使用它则由每个期刊自行决定。甘博亚称,由于有很多科学家还不习惯使用ORCID系统,因此并不是每个科学家都会拥有身份编码。甘博亚还指出了另外一个问题:“不幸的是,和其他任何网络身份验证系统一样,ORCID也暴露于不道德操控的风险下,例如黑客行为。”
  学术界的网络安全问题早已是老生常谈了。哈佛大学伯克曼网络与社会研究中心的计算机安全专家布鲁斯?施耐尔(Bruce Schneier)表示:“当系统从技术上变得更复杂、更自动化时,也就有了更多欺骗系统的方法。这种社会问题很难通过单纯的技术方法予以解决。”
  因此,解决学术造假问题最终还是要靠编辑与出版单位提高警惕。仔细检查审稿人的邮件地址是一种找出欺诈行为的有效方法:一个非学术研究单位的电子邮件地址,可能需要列入重点检查名单中。当然,这并不是说所有使用Gmail等邮件地址的账号都会作假。
  位于伦敦的生物医学中心(BioMedical Central,BMC)出版社的副总编吉基莎?佩特尔(Jigisha Patel)称,通过可疑邮件地址找出欺诈者是切实可行的:“我们已经在几起案例中,找出了那些对邮件地址动手脚、企图顶替他人身份的作假者。”但这样的筛查并非滴水不漏。在九月份,佩特尔所在的出版社就撤回了此前发表在《BMC系统生物学》(BMC Systems Biology)上的一篇论文,因为该论文“同行评审过程存在违规行为,并受到来自作者的不当影响。”
  一些科学家和出版商也指出,归根结底,学术期刊就不应该允许作者自己推荐论文评审人。澳大利亚麻醉学会(Australian Society of Anaesthetists)旗下期刊《麻醉与重症监护》(Anaesthesia and Intensive Care)编辑约翰?洛斯曼(John Loadsman)表示,允许论文作者推荐评议人的做法是“奇怪”并“极为愚蠢”的,并称自己所在的期刊绝不会允许这种行为。
  目前还不清楚,究竟有多大比例的学术期刊允许论文作者自行推荐评审人。这种方法或许确实不够合理,不过随着科研领域专业细分程度越来越高,它倒也为繁忙的期刊编辑提供了寻找某领域专家的简便方法。来自科罗拉多州立大学的生物化学家詹妮弗?纽伯格(Jennifer Nyborg)称,自己投稿过的绝大多数期刊都要求作者至少推荐5位可能的论文评审员。
  在赛捷出版社宣布收回的60篇论文中,大多数论文的评审员都是全部来自作者本人的推荐。甘博亚称,尽管出现了造假事件,但《振动与控制》期刊现在仍然允许作者自己推荐评审人(并提供他们的联系邮件地址),不过期刊也采取了更加全面的防范措施。
  出版道德委员会(The Committee on Publication Ethics,COPE)是一家为科学出版物提供学术道德规范建议的机构(但这些建议并无强制执行的效力),该机构对于期刊是否可以允许作者自己推荐评审人并未提出具体的指导意见,但他们也敦促期刊对评审员进行充分的审查。伦敦出版道德委员会的业务经理娜塔莉?里奇薇(Natalie Ridgeway)表示,无论何时都应该检查评审员的姓名、地址与电子邮件地址,她还提出:“期刊编辑不能总是只选择由作者推荐的论文评审员。”
  自然出版集团旗下的期刊也允许作者推荐评审员,不过,基尔梅指出:“编辑们并不会全盘接受这些建议。最终评审员还是会由编辑选定,而且在选择过程中,也要保证评审员与论文作者间不存在利益冲突。”另一方面,作者也可以向编辑提交一份排除名单,要求编辑将存在利益冲突(例如正在进行竞争性研究的研究员)的人排除在评审名单之外。基梅尔称,出版方通常会尊重这些请求,只要作者要求排除的评审员或实验机构的数量少于3个。
  有时,论文作者推荐评审人确实会带来反效果。斯普林格出版社旗下《国际骨质酥松症期刊》(Osteoporosis International)的主编之一罗伯特?林赛(Robert Lindsay)称,他所在的刊物最多允许作者推荐两名评审人,但他往往会把这些评审人排除掉。这种做法的依据是过去的经验,林赛曾遇到过作者留下自己的邮箱作为评审人联系方式的情况,以及更加恶劣的行为。林赛称:“我们曾见过有作者推荐自己的家人、同事和他们的研究生作为论文评审员的行为。”现在,这本期刊只有在确实无法找到其他人进行评议工作时,才会使用作者推荐的人选——前提是被推荐者能通过期刊的审核。
  然而,审核评审人也是一件困难的工作。通常,欧美的编辑都对其所属科研领域足够熟悉,能够了解论文作者与评审人之间潜在的利益关系。但林赛指出,西方期刊编辑对来自亚洲的学者及他们所属的圈子往往缺乏足够的了解:“很多时候,在收到一篇来自亚洲学者的投稿时,我们发现编辑团队中没有一个人认识作者推荐的那些评审人。”在这种情况下,他们会坚持选择至少一名独立的评审人,由编辑自己确定人选并进行邀请。
  在一个林赛认为“最恶劣的案例”中,某个作者推荐的一个与她同名不同姓的“评审人”。后来经过调查发现,这个“评审人”的姓是作者自己的婚前姓。也就是说,作者推荐了她本人来评审自己的论文。林赛表示:“我认为她再也不会向我们的期刊投稿了。”(编辑:窗敲雨)
(作者:科普中国责任编辑:天极科普君)
来源:http://url.cn/5xO9BUy


声明:本网站为非盈利网站,大多信息来源于网友推荐。如果作者或其他版权所有人认为违反了您的权益,请告知我们,我们会在24小时内删除。