近日，ACL（计算语言学协会）更新了其会议论文的投稿、评审和引用政策。其中最受争议的一项要求是，为了双盲评审的有效性，投稿论文在截止日期前的1个月时间里在 arXiv 等平台公开预印本，直到论文评审结果公布。这些新要求引起一些质疑双盲评审有效性的声音，不过，多数研究人员表示支持新政。斯坦福大学 NLP Group的主任、2015 年曾任 ACL 的 Christopher Manning 也针对ACL的新政做了详细的解释。
ACL会议和TACL要求提交论文匿名化。如果作者在提交截止日期前1个月发布或更新一个匿名的预印版本，直到通知或撤回的这段时间内，提交者将不会被认为是匿名的。如果没有正确的匿名化，提交将被。
如果有一个非匿名的预印版本存在，作者必须在提交时声明其存在，但不应引用它，并被要求在匿名期间不要进一步公布——提交的论文应尽可能匿名。
尽管许多学术会议都采用匿名评审的方式，匿名评审仍一直受到怀疑。诸如在评审结果出炉之前大范围论文作者，大公司、名校的论文被接受的比例之高似乎不合常理等。我们究竟需要怎样的匿名评审，匿名评审的有效性到底如何，ACL通讯最近发表的一篇文章，对匿名评审进行了实验调查和探讨。
，知道作者信息的评审人推荐接受有名作者投稿的可能性比普通作者高1.76倍，推荐接受顶尖机构论文的可能性比普通机构高1.67倍。
当审稿人知道作者身份时， 以男性为第一作者的论文评价得分高19％，而以女性为第一作者的论文得分低4％。而在医学领域，美国的评审人更倾向于推荐接受来自美国机构的论文。
研究者对2016年举办的三次软件工程和编程语言会议进行调查，分别是 IEEE/ACM 国际自动化软件工程会议（ASE），面向对象编程、系统、语言和应用的ACM国际会议（OOPSLA），以及ACM SIGPLAN编程语言设计和实施会议（PLDI）。他们收集了关于匿名化有效性的数据，用于评估审稿人成功对论文作者“去匿名化”的程度。
匿名化虽然不完美，但相当有效：70%-86%的评审人在提交评审结果时没有对论文作者进行猜测，74%-90%没有猜测正确。
上图中X表示专家，Y表示知识渊博的人，Z是知情的局外人。图2总结了猜测的发生率和猜测正确性。对于每一个会议，从统计上看，X审稿人比Y和Z审稿人更容易进行猜测。但是，猜测正确性的差异并不显著。我们的结论是，那些认为自己是专家的审稿人更有可能对作者的身份做出猜测，但他们不太可能猜对。
图3显示了试图猜测作者的审阅人员的数量。最大比例（26%-30%）出现在只有一个评论者试图猜测论文的作者的情况下。具有更多的猜测的论文所占的比例更少。条形阴影部分表示作者身份猜测是正确的，有更多猜测的论文有更低的错误猜测率。通过对数据的分析可以得知，改进相对较少的论文的匿名化可能会显著减少猜测的数量。这三个会议最近才开始使用双盲评审程序，由于作者获得了更多的匿名提交的经验，这进一步增加了双盲的有效性，所以匿名化的出现可能会减少。
OOPSLA和PLDI的审稿人被问及引用的使用是否会作者。通过对结构进行分析，表明一些去匿名化可能是不可避免的。一些评审人员在搜索相关工作时发现了GitHub库或项目网站来给他们的最终的评论加以暗示。一些提交的材料代表了对作者先前工作的清晰扩展或内容的熟悉。然而，这也为改善匿名化带来了机会。然而，在程序委员会的会议上，程序委员会多次听到他们的说，他肯定另一个程序委员会是论文作者，但他错了。当审稿人们认为他们通过间接的不致盲的方式认识作者时，他们可能过于自信，有时甚至是错误的。
所有的程序委员会都强烈支持在未来继续使用双盲评审。所有人都认为双盲评审减轻了潜意识中存在的的影响，这正是使用双盲评审的主要目标。一些程序委员会的们也意识到了这一点，这表明他们更有信心去相信，他们的评论和决定存在更少的。一位程序委员会说，双盲评审是一种解放，因为在评估过程中不用担心自己认识的人对自身职业生涯产生影响。
所有的程序委员会支持他们对披露作者时间点的决定：也许对于那些被接收的论文而言，应该发生在审查提交之后，程序委员会的会议之前。PLDI程序委员会大力提倡完全双盲，也就是说被的论文可以匿名地重新提交给其他相同审稿人的双盲区，从而解决去匿名化的起因。ASE程序委员会观察到，在一些案例中，作者的身份有助于更好地理解论文的贡献和价值。PLDI 程序委员会被认为绝对有必要在评估论文时根据要求透露作者的身份。
总的来说，没有任何一个程序委员会感觉到由双盲评审带来额外巨大的行政负担。 ASE程序委员会招募了两个评审过程前来协助，所有人都认为这种额外的投入是合理的。
通过快速研究结果来加速科学进步是一件好事。双盲评审从防止对已经享有的人的这个角度来看也是一件好事。ACL 新的投稿、评审、引用政策是两者之间的一种折衷方案。
本文由325游戏 （www.325qp.net）整理发布