当前位置:网站首页 >  新闻资讯  > 公司新闻
公司新闻

AI研究人员正在努力避免可再现性危机

2019-12-25    来源:    作者:佚名  阅读:次  【打印此页】

乔尔·皮诺(Joelle Pineau)并不希望科学的可再现性危机进入人工智能(AI)。

麦考尔大学(McGill University)和加拿大蒙特利尔的Facebook的机器学习科学家皮诺(Pineau)感到沮丧,因为她难以从其他研究团队那里重新获得结果,现在她正在率先发起一项运动,要求人工智能研究人员开放其方法和代码进行审查。

与McGill的博士生Koustuv Sinha一起,Pineau在神经信息处理系统会议(NeurIPS)的组织委员会上担任着两个致力于再现性的新角色之一,这是AI的重要会议,今年吸引了大约13,000名研究人员。在今年12月8日至14日在加拿大温哥华举行的会议召开之前,委员会要求科学家提供代码,并为提交的每篇论文填写方法学细节清单。他们还进行了一项竞赛,挑战研究人员重新创造彼此的作品。

皮诺(Pineau)向《自然》杂志讲述了这些措施及其与社区的关系。

容易想象为什么对自然界的科学研究可能难以复制。但是,为什么有些算法无法重现?

的确,使用代码,您可以按开始键,并且在大多数情况下,每次都应执行相同的操作。挑战可能是试图从纸上复制机器代码中的一组精确指令。还有一个问题是,论文并不总是提供所有细节,也不是提供误导性细节。有时这是无意的,也许有时是为了使结果看起来更令人满意。那是个大问题。

是什么让您对可重复性感兴趣?

我偶然地陷入了可复制性。我的学生一遍又一遍地说“我无法获得这些结果”,或者他们发现要获得结果,他们必须从方法上做我认为不正确的事情。因此,对我而言,重要的是在它成为常态之前将其停止。对于更广泛的社区而言,这也是非常及时的,因为有很多人涌入该领域,并且确定什么是方法学规范是很重要的。

这种做法的一个例子是什么?

例如,在强化学习中,如果使用不同的初始随机设置对某些算法进行两次运行,则可以获得非常不同的结果。而且,如果您进行大量运行,则只能报告最佳运行。具有更多计算能力的人进行更多运行的结果将看起来更好。论文并不总是说进行了多少次运行。但这对您得出的结论有很大的不同。

今年NeurIPS采取了哪些可重复性措施?

分为三个部分:我们鼓励人们提交其代码;我们正在面临可再现性挑战;我们介绍了一份提交论文的清单。例如,清单会询问您是否清楚标记了正在使用的度量标准和度量类型,是否提供了误差线,模型的详细信息以及如何设置模型的某些方面来改变结果?很多。

研究人员的接待情况如何?

很好。我曾与其他科学界的人们进行过讨论,他们感到惊讶的是,我有这么多平台谈论可重复性。感觉就像在他们的领域中,如果您开始质疑可重复性,那么有一个非常强大的机构想要关闭该消息。代码提交是我印象最深刻的元素之一。一年前,接受的NeurIPS论文中有50%包含代码链接。今年,我们的比率是75%。

我们已经与两名信息科学家合作,他们正在分析响应并绘制出数据中有用的模式。我们已经可以说,有34%的会议论文审阅者表示清单是有用的,并且代码的存在对审阅者评分具有显着的积极影响。但是,在得出结论之前,我们需要进一步研究。

可再现性挑战意味着什么?

我们在全球73个机构中有173名参与者。他们选择要复制的纸张-NeurIPS接受的任何纸张都是公平的游戏-并生成报告,其中记录了他们验证的部分,方法和发现的内容。这些报告在OpenReview(一个促进科学交流的开放性的网站)上共享。我们将收集一些非常好的示例,并将其发布在ReScience C杂志的特刊上。

这些措施的最终目标是什么?

更好的重现性意味着在纸上构建要容易得多。通常,审阅过程是短暂且有限的,而论文的真正影响是我们稍后才能看到的。该论文继续存在,作为一个社区,我们有机会在此基础上继续工作,检查代码,并对所做出的贡献持批判性的眼光。

在线客服
咨询热线

扫一扫关注我