我冒昧地说,(存在可复制性问题的研究中)很大部分都是来自应用了机器学习的科学项目。

—— Genevera Allen,莱斯大学副教授

大声

2019-02-22 10:00

不少人都认同,人工智能不应取代人类,而是帮助人类做其不擅长的事情。在庞大的数据中寻找规律,这就是其中一样算法拥有相对优势的工作。

来自休斯顿 Rice University 的 Genevera Allen 博士则警告,机器学习正在科学研究领域酿造一场危机。

▲ Genevera Allen,图片来自 BBC

越来越多学者选择采用机器学习软件来分析已有数据,领域从生物医学到天文学都有。有一个问题是,这些算法时常会从数据中找到「无用规律」—— 只存在于数据,不存在于现实生活的规律。

当有其他研究人员以同样方法分析另一组真实数据时,会发现结果和已有(用机器算法分析出来)结果毫无重合之处。一般来说,大家就是在这个时候发现原来的研究有问题。

Allen 博士说道。此外,她表示「可复制性危机」已经是学界公认的问题,「我冒昧地说,其中很大部分问题研究都是来自应用了机器学习的项目。」

《自然》杂志曾于 2016  年报道,在尝试重现他人实验结果的研究人员中,70% 都是以失败收场,50% 的人甚至无法重复自己的实验。

英国心理学会总统奖得奖者 Marcus Munafo 长期关注学界可重复性问题,他认为这是一个非常严重的问题。他在读书时就曾在重复一些论文中的简单实验时失败了:「因此,我对科研产生了信任危机,后来我发现,这是一种非常普遍的现象。」

▲ Marcus Munafo,图片来自英国心理学会

有观点认为,可重复性概率低的问题,一方面是因为前沿技术的可把控性较低,但人人都想找到新发现,假阳性被写入论文情况并不少见。此外,关于发现假阳性的论文也不受研究刊物编辑的欢迎,因此大家去深究的动力也不大。

学界普遍认为,不可复制的问题通常来自不成熟的研究实验模式,让研究人员只看到自己想要的内容,为寻找特定规律而设计的机器学习算法使得这种情况变得更严重。

挑战在于,我们是否可以相信这些研究发现?如果我们获得了另一组数据,用同样方法分析是否会得到同样结果?不幸的是,答案很可能是否定的。

登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中

我们决定在深蓝 L06 上磁流变技术的时候,基本上是没有经过思考,因为它又快又稳,为什么不选它?

查看全文 —— 深蓝L06全球市场总监 彭钱磊

我们跟华为这帮兄弟们,几个「界」也好,几个「境」也好,包括跟华为其他很多的合作伙伴,我们的初心是一致的,一起要把中国汽车的新能源化,中国汽车的智能化做好。

查看全文 —— 岚图汽车董事长 卢放

未来,英特尔会将不同的重要功能单元灵活组合,打造适应不同需求的芯片,若中国客户想「点菜」,我们也可以定制芯片。

查看全文 —— 英特尔中国区董事长王稚聪

原神上玩的好,其他游戏想玩但是没有,到时候市场上会举手,大家会被容易举手的吸引走。

查看全文 —— iQOO 副总裁罗峰

关于影像的审美,我们一直认为审美是一个多元化的,无论是某一个阶段,可能某一些声音会占据一个阶段的潮流,话语权。但是它是其中的一种,它不能代表所有。

查看全文 —— vivo X 系列产品总经理韩伯啸