深度学习系统正在彻底改变我们周围的技术

时间:2021-02-23 15:39:33来源:
导读深度学习系统正在彻底改变我们周围的技术,从将您与手机配对的语音识别到越来越能够看到并识别前方障碍物的自动驾驶汽车。但是,当涉及到深

深度学习系统正在彻底改变我们周围的技术,从将您与手机配对的语音识别到越来越能够看到并识别前方障碍物的自动驾驶汽车。但是,当涉及到深度学习网络本身时,许多成功都涉及反复试验。一群MIT研究人员 最近回顾了 他们对更好地理解深度学习网络的理论贡献,为该领域的发展提供了方向。“深度学习在某种程度上是偶然发现,”麦戈文脑科学研究所研究员,大脑,思维和机器中心(CBMM)主任,尤金·麦克德莫特(Eugene McDermott)脑与认知科学教授Tommy Poggio解释说。 。“我们仍然不明白它为什么起作用。一个理论框架正在形成,我相信我们现在已经接近一个令人满意的理论。现在该退后一步,回顾最近的见解。”

攀登数据山

我们当前的时代以大量数据为标志-来自各种类型的廉价传感器,文本,互联网的数据,以及生命科学中生成的大量基因组数据。如今,计算机吸收了这些多维数据集,从而产生了一系列问题,这些问题被已故的数学家理查德·贝尔曼(Richard Bellman)称为“维数诅咒”。

这些问题之一是,表示平滑的高维函数需要天文学上大量的参数。我们知道深度神经网络特别擅长学习如何表示或近似于此类复杂数据,但是为什么呢?了解为什么可能有可能帮助推进深度学习应用程序。

“深度学习就像是在Volta发现电池之后,但在Maxwell之前,就像电一样。” Poggio解释说,他是MIT Quest for Intelligence核心组织的创始科学顾问,并且是计算机科学与人工智能实验室(CSAIL)的研究员麻省理工学院。“在Volta之后肯定可以进行有用的应用,但这是Maxwell的电磁学理论,这种更深刻的理解为无线电,电视,雷达,晶体管,计算机和互联网开辟了道路。”

Poggio,Andrzej Banburski和Qianli Liao的理论处理指出了为什么深度学习可以克服数据问题,例如“维数的诅咒”。他们的方法始于观察到许多自然结构是分层的。建模树木的生长和发育不需要我们指定每个树枝的位置。相反,模型可以使用本地规则来分层驱动分支。当处理复杂数据时,灵长类动物的视觉系统似乎会做类似的事情。当我们查看自然图像(包括树木,猫和脸)时,大脑先后整合了局部图像补丁,然后是小补丁集合,然后是补丁集合。

该研究的作者,电气工程与计算机科学系的研究生,CBMM的一名成员廖倩丽解释说:“物理世界是组成成分的,换句话说,是由许多本地物理相互作用组成的。” “这超越了图像。语言和我们的思想是组成性的,就神经元之间的相互联系而言,甚至我们的神经系统也是组成性的。我们的评论从理论上解释了为什么深度网络如此擅长表示这种复杂性。”

直觉是,即使神经元的总数相同,层次神经网络也应该比单个“层”的神经元更好地逼近组成功能。他们工作的技术部分确定了“更好地近似”的含义,并证明了直觉是正确的。

泛化之谜

关于有时被称为深度网络的不合理有效性的第二个难题。尽管我们最近产生的数据量很大,但深层网络模型的参数通常比适合它们的数据多得多。这种情况应该导致所谓的“过度拟合”,即您的当前数据非常适合模型,但是任何新数据都非常适合模型。在传统模型中,这被称为不良概括。常规解决方案是限制拟合过程的某些方面。但是,深度网络似乎不需要此约束。Poggio和他的同事证明,在许多情况下,训练深度网络的过程隐式地“规范”了解决方案,并提供了限制。

这项工作有很多影响。尽管深度学习在世界范围内得到了积极的应用,但到目前为止,在没有全面的基础理论的情况下发生了这种情况。 深度学习的理论解释了深度网络的作用和方式以及它们的局限性,很可能将允许开发更强大的学习方法。

“从长远来看,开发和制造更好的智能机器的能力对于任何基于技术的经济都是必不可少的,” Poggio解释说。“毕竟,即使在目前(仍然非常不完善)的状态下,深度学习正在影响或即将影响我们社会和生活的各个方面。”

最新文章