深度学习推动了人工智能方面的最新进展

时间:2020-08-13 15:15:33来源:
导读6月,OpenAI推出了世界上最大的语言模型,这是一种称为GPT-3的文本生成工具,可以编写创意小说,将法文翻译成普通英语并回答晦涩的琐事问题

6月,OpenAI推出了世界上最大的语言模型,这是一种称为GPT-3的文本生成工具,可以编写创意小说,将法文翻译成普通英语并回答晦涩的琐事问题。这是通过深度学习获得的最新智能成果,深度学习是一种以大脑中神经元处理和存储信息的方式为模式的机器学习方法。

但这要付出高昂的代价:假设该模型是在标准的神经网络芯片或GPU上进行训练的,至少要花费460万美元和355年的计算时间。该模型的巨大尺寸(比典型语言模型大1000倍)是其高昂成本的主要因素。

麻省理工学院的研究员尼尔·汤普森(Neil Thompson)说:“您必须投入更多的计算才能使性能有所提高。”他追踪了深度学习对计算的坚定需求。“这是不可持续的。我们必须找到更有效的方式来扩展深度学习或开发其他技术。”

关于AI的最新进展的一些激动已经转变为惊慌。在去年的一项研究中,马萨诸塞州大学阿默斯特分校的研究人员估计,训练大型深度学习模型会产生626,000磅变暖的二氧化碳,相当于五辆汽车的终身排放量。随着模型的增大,它们对计算的需求超过了硬件效率的提高。GPU(图形处理单元)和TPU(张量处理单元)等专门用于神经网络处理的芯片已经抵消了对更多计算的需求,但还远远不够。

“我们需要重新思考从软件到硬件的整个堆栈,” MIT-IBM Watson AI Lab的MIT主管和MIT Quest for Intelligence的联合主管Aude Oliva说。“深度学习使最近的AI革命成为可能,但是其不断增长的能源和碳排放成本却难以为继。”

在1950年代,计算极限使神经网络摆脱了最早的化身-感知器的困扰。随着计算能力的爆炸式增长,以及互联网释放出的数据海啸,它们演变成用于模式识别和预测的强大引擎。但是,由于需要大量数据的模型需要增加计算量,因此每个新的里程碑都会带来成本爆炸。例如,GPT-3训练了0.5万亿个单词,并膨胀了1750亿个参数(将模型联系在一起的数学运算或权重),使其尺寸比前一年(本身仅一岁)大100倍。

标签:人工智能
最新文章