这个软件出现得可谓正当其时,很多已经给科学界和期刊行业敲响警钟,它们表明许多已发表文章的研究结果是不可重复的,为此科学界正在努力寻找可靠的方法来评估它们是否可以再现。
新工具由美国康涅狄格州纽黑文市Verum分析公司开发,它生成了一个叫作r-因子的指标,该指标依据其他证明或驳斥其研究结果的研究数量,来说明一篇期刊文章的可再现性。但r-因子指标却引来了学者的大量,他们认为这种相对简单的方法可能不足以解决衡量可重复性的多方面问题。
对新工具的初步反馈表明,Verum公司并没有完全消除这些担忧。该公司开发者承认新工具仍然存在局限性;他们表示该工具的目的是接受相关反馈,以获得关于其工作效果以及如何改进的。Verum公司自愿开发了该工具,其联合创始人JoshNicholson说,他们希望公开该工具的初步版本能吸引潜在的投资人助力改善它。
Verum去年8月在一篇预印文本中报告了该工具基于r-因子的方法,并在新工具中对其进行了改进。它仅依赖于受欢迎的生物医学搜索引擎PubMed网站上可免费获取的研究论文的数据。
在开发之初,Nicholson和同事手动分析了4.8万个引用其他已发表文章的论文文本的片段。Verum和同事将每个片段分别归类为“、反驳或是提及”其他的文章。然后,Verum利用这些分类来训练一个算法自动识别样本群之外的每类片段。
基于约1万个摘录的片段样本,Verum公司的开发人员称,新工具可以在93%的情况下对段落进行正确的分类。与或反驳性的引用片段相比,它能更准确地检测到“提及”其他文章的引用,因为或反驳类的样本更少。分析发现,绝大多数文章都提到了以前的研究,但却没有或反驳它们的主张;只有约8%的引用是性的,而反驳性的约有仅1%。
注:国内为原创研究或评论、综述,国际为在线发表一个月内的最新或综述,字数500字以上,并请提供至少一张图片。者,请将文章发送至。