本篇文章2197字，读完约5分钟
机心报道
参加:泽南，杜伟
人工智能的算法也遵循自己提高效率的“摩尔定律”。
在人工智能行业，由于研究者的努力，顶级算法的效率提高速度超过了芯片中摩尔定律的速度。
著名人工智能研究机构openai今天更新了业界顶级机器学习模式算法的诉求，得到了最新结论:年以来，在著名数据集imagenet上训练图像分类系统所需的计算能力每16个月减少一倍
这个想法和openai几个月前的“呼吁最先进的ai模型的计算力达到30万倍”的态度有了很大的变化，但人工智能在将来的快速发展过程中可能很难被计算力的瓶颈所左右。
openai这次研究发现的模型效率的提高除了关注模型的最佳表现外，也是最引人注目的地方。 也有为ai的技术属性和社会影响提供依据的更深层次的意义。
“算法的改进是ai技术提高的核心。 但是，找到衡量所有技术进步的标准是非常困难的，特别是在采用计算能力方面有变化的趋势”，openai说。 “通过提高算法效率，研究者可以在同一时间内进行越来越多的实验，减少资金消耗。 根据分析，政策制定者需要增加对计算效率研究的投资，不仅可以帮助学术界，还可以进一步支持行业。 "。
另外，可以观察到，openai并不是第一次公开关于ai模型的效率展开基准的机构。 年，艾伦人工智能研究所、卡内基梅隆大学及华盛顿大学的科学家提出把效率作为ai学术论文及正确性和相关测量的更常用判断标准。 还有人呼吁进行工业级性能分解，建立机器学习项目的每瓦计算标准。
“后浪推前浪”:效率更高的模型层出不穷，计算能力持续提高。
在调查研究中，openai发现wmt-14翻译任务中Googletransformer需要61倍于迄今为止常用的seq2seq模型的计算能力。 两者发表的分离时间也只有三年。
deepmind的著名人工智能alphazero不仅可以从零开始自我学习，在围棋、象棋、日本象棋等游戏中实现超过人类的水平，而且与上一代系统相比，1年前发售的alphagozero可以实现8倍的成本削减。
对openai自己来说，最近众所周知的技术当然是dota 2人工智能openai five，最新的rerun版本可以以1/5的计算能力打败上一代算法，但第二代上市只有三个月。
近年来，各种算法训练了alexnet级图像分类效果所需的计算能力，蓝点是当时效率最高的。
简单来说，仅从图像分类任务来看，过去7年人工智能的效率提高了44倍。 这个速度超过了摩尔定律，似乎意味着只要继续努力，就不用担心在硬件瓶颈中妨碍人工智能的迅速发展。 另一方面，考虑到一年的计算能力价格与年有很大不同，实践上情况会更好。
这样乐观的结论看起来与不到一年openai得出的“ai计算量每年增加10倍”略有不同。 去年11月，该机构的研究发现，从alexnet到alphago zero，对最先进的ai模型计算量的诉求增加了30万倍。
openai注意到集成电路中的晶体管数量大约每两年翻一倍，因此估计算法的效率可能超过摩尔定律的增益。 有趣的是，人工智能的快速发展规则也类似于英特尔芯片近年来提出的“tick tock”的快速发展战术。 新功能一般需要很多计算能力。 而且，这些功能的优化版本可以通过流程改进实现更高效的部署(似乎可以支持芯片上新的微体系结构的改进)。
另外，调查结果表明，在投入大量研究时间和计算能力的ai任务中，算法效率的提高有可能超过对硬件效率的诉求。
作为整体基准测试的一部分，openai首先进行视觉和机器翻译的高效基准测试，特别是在imagenet和wmt14的数据集上，之后增加了越来越多的基准方法。 不允许人工标签、其他图像和数据，但翻译和扩展的训练数据没有限制。
从imagenet数据集上79.1% top-5的准确率来看，从年alexnet到年efficientnet，计算能力提高了44倍。
从wmt-14 en-fr数据集上的34.8 bleu来看，从年seq2seq(ensemble )到年transformer(base )，计算能力提高了61倍。
结合计算能力、算法，继续进行提高ai算法效率的研究投入。
openai说:“业界领袖、政策制定者、经济学家和潜在研究人员试图更深入地理解ai的进展，决定应该投资多少，以及这些投资的未来。 ai模型的有效基准正好有助于他们做出正确的决定。 "。
ai算法的效率提高很大，但对指数增长的新算法参数的数量不够。 openai研究者提出的“比较有效的计算”概念结合了计算能力和算法的提高，我们可以直观地看到各行业对人工智能的迅速发展做出了贡献。
并行计算和芯片工艺的提高相结合，似乎还是占了很大的份额。 但是正如研究者结论的那样，有必要增加对ai算法有效研究的投资。
参考文件: openai/blog/ai-and-efficiency/
本文为机心报道，转载请联系本公众号获得授权。
────────────────────────────────────────────────。
进入机器的心(全职记者/实习生):hr@jiqizhixin
寻求帖子或文章: content@jiqizhixin
广告&； 业务合作: bd@jiqizhixin
原标题:“ai算法效率每14月倍增，openai :长江后浪推前浪”
阅读原文。
