人工智能软件技术已经变得如此高效，事实上，工程师现在可以在ImageNet上训练神经网络，ImageNet是图像识别系统的顶级数据集，其准确度达到79.1%，计算能力比2012年减少了44倍。OpenAI本周发布的一项研究[PDF]估计，以这种提高的速度，算法效率在7年中每16个月翻一番。
丹尼·埃尔南德斯(Danny Hernandez)和汤姆·布朗(Tom Brown)发表的论文说：“值得注意的是，这超过了最初的摩尔定律在硬件效率上的提高速度(在此期间提高了11倍)。”
该法律是英特尔联合创始人戈登·摩尔(Gordon Moore)在1960年代的观察结果，芯片上的晶体管数量大约每两年增加一倍，人们因此期望处理器性能在同一时期内增加一倍。至少从1999年开始，这条法律就一直在消失，从2018年起，它就被认为已死。
(我们喜欢开玩笑说，摩尔的第二定律是，任何记者都不能在不提及第一定律的情况下撰写有关英特尔的文章。)
乍一看79.1%的准确性水平似乎很低，但之所以选择它是因为这是AlexNet在2012年赢得ImageNet挑战时的性能水平。AlexNet被誉为第一个引起计算机和数据科学家痴迷的模型与神经网络。OpenAI称，这种改进不仅适用于计算机视觉模型：在其他类型的用于语言翻译和强化学习的神经网络体系结构中也可以看到这种改进。
OpenAI二人写道：“算法效率的提高使研究人员可以在给定的时间和金钱上进行更多感兴趣的实验。”“除了可以衡量总体进度之外，算法效率的提高还可以通过某种程度上类似于拥有更多计算的方式来加速未来的AI研究。”
尽管算法性能的提高对于机器学习社区来说是个好消息，但值得指出的是模型正在变得越来越大，越来越复杂，并且需要大量的资源和金钱来进行训练。AI21是以色列重点研究自然语言的研究中心最近发表的一篇论文显示，训练具有1.1亿个参数的语言模型的成本在2500美元到50,000美元之间。当该参数增加到15亿个参数(相当于OpenAI的GPT-2数量)时，成本将上升到8万美元到160万美元之间。®