白交 发自 凹非寺

量子位 报道 | 公众号 QbitAI

深度学习在计算上受到限制并不是一件「新鲜事」。

只是在过去十年里面，这种计算限制被「淡化」了。人们专注于「算法」优化和「硬件」性能的提升，以及愿意投入更高的「成本」来获得更好的性能。

性价比这件事，从来没被严肃以待。

但是现在，深度学习的计算需求越来越大，这些所谓的「方法」开始变得无济于事了。

最近，MIT计算机科学与人工智能实验室的研究科学家Neil Thompson发表了最新研究，主题旗帜鲜明：「Computational Limits of Deep Learning」。

用46页、研究千余篇论文告诉你，深度学习的算力局限在哪里。

从设置的生成模型中发现理论上的算力局限。

首先，来看看理论上的算力局限。

他们设置了一个生成模型，在可能的1000个参数中，有10个非零参数，并考虑4个模型来尝试发现这些参数。

Oracle model：在模型中有完全正确的10个参数。

Expert model：模型中恰好有9个正确参数和1个错误参数。

Flexible model：拥有模型中所有1000个潜在参数，并使用「最小二乘估计」。

Regularized model：跟「Flexible model」一样，它拥有模型中所有参数，但是是在正则化模型中。

于是，就得出了这样的结果——模型复杂度与正则化对模型性能和对计算要求的影响。

其中模型性能，是以与最佳预测器相比预测的归一化平均平方误差的负对数（以10为底）。

可以看到，随着样本量的增加，Oracle model跟Expert model一开始表现出更好的性能，而Flexible model和Regularized model这两个模型后进之势十分猛烈。

而与之相应的「计算要求」，Flexible model和Regularized model跟前两个压根就不是一个量级的。

这恰好印证了吴恩达的一个观点：

当数据量小的时候，传统的机器学习技术做得更好，但灵活的深度学习模型在数据量更大的情况下做得更好 。

那么这篇论文将这一见解推向了更加广泛的结论：

灵活的深度学习模型有更大的潜力，但也有更大的数据和计算要求。

1058篇论文看到实际中的算力需求

直接上图。

可以看到，所有的深度学习模型的实际算力需求，在近几年里，远远高于「硬件性能」提升中需要的计算能力。

为了研究深度学习对计算的依赖性，团队研究了1058篇研究论文。

涵盖了图像分类（ImageNet基准）、对象检测（MS COCO）、问题回答（SQuAD 1.1）、命名实体识别（COLLN 2003）和机器翻译（WMT 2014 En-to-Fr）等领域。

以图像分类为例。

ImageNet为基准，显示了ImageNet数据集上图像识别错误率的下降及其与这些模型的计算要求的相关性。

除此之外，在问题回答、命名实体识别、机器翻译等领域也表现出了对计算能力的依赖性。

除了机器翻译（英语到德语），使用的计算能力的变化很小。其他的模型的依赖性都很强，其中问题回答的依赖性达到了7.7。

总的来说，在深度学习的许多领域中，训练模型的进展都依赖于计算能力的大量增加。

但随之而来的，就是「高昂的研究成本」。

MIT助理教授，清华大学校友韩松，就曾说过：

深度神经学习网络在计算上非常昂贵，这是一个关键的问题。

今年一月，Facebook的AI副总裁Jerome Pesenti在接受《连线》采访时，就表示，该领域很快就会「碰壁」。

AI科研成本的持续上涨，或导致我们在该领域的研究碰壁，现在已经到了一个需要从成本效益等方面考虑的地步，我们需要清楚如何从现有的计算力中获得最大的收益。

现在，用千余篇论文研究再次证实了这一结论。

那么对于现在的机器翻译、自动驾驶等项目需要重新考虑一下，「如何实现以最低的成本实现收益最大化」。

换而言之，作为商业模型来落地的AI翻译和自动驾驶项目，是时候要用「性价比」来重估了。

你觉得呢？

论文地址：

参考链接：

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态