株洲平果7p手机换屏价格_AI突破下一站，需要对硬件重新审视

现在的人工智能有重要的问题。 太贵了。株洲平果7p手机换屏价格 训练现代计算机视觉模型Resnet-152的成本约为100亿浮点运算，这与现代语言模型相比相当相似。

训练OpenAI的最新自然语言模型GPT-3预计需要3000兆浮点运算，商用GPU的成本至少为500万美元。 与此相比，人脑可以识别脸，回答问题，一杯咖啡就可以开车。

我们怎么做呢？

我们已经取得了很大的进展。

第一台电脑的诞生有特别的目的。 1822年，英国数学家查尔斯·巴贝奇制作了“分机”来计算多项式函数。 1958年，康奈尔大学教授弗兰克·罗森布拉特( Frank Rosenblatt )创造了“Mark I”。 这是单层传感器的物理形式，用于机器视觉任务。 硬件和算法初期是一样的。

硬件和算法的统一随着冯·诺伊曼体系结构的出现而变化，该体系结构具备由计算处理单元构成的芯片设计、存储数据和处理指令的存储器单元，通过在这样的模式下的迁移，对于任何任务， 冯·诺伊曼架构已成为现代数字计算机的蓝图。

但这里有矛盾。 数据密集型程序需要进行大量的存储单元和计算单元之间的通信，计算速度变慢。 这个“冯·诺伊曼瓶颈”是人工智能早期尝试失败的原因。 标准的CPU在深度神经网络的核心计算操作即大型矩阵乘法中效率不高。 由于现有的硬件瓶颈，早期的神经网络技术搁浅，表现不好。

有趣的是，问题的解决办法来自游戏行业而不是学术界。 20世纪70年代，为了加速视频游戏的发展而开发的GPU将数据密集型操作与数千个计算核心并行化。 这种并行化是解决冯·诺依曼瓶颈的有效方法。 GPU使训练更深层次的神经网络成为现代人工智能技术目前使用的硬件。

硬件彩票。

人工智能领域的研究成功有很大的运气成分。 株洲平果7p手机换屏价格谷歌研究者莎拉·胡克称之为“硬件彩票”。 早期的AI研究者非常不幸。 因为他们被困在缓慢的CPU里。 GPU登场时，碰巧AI领域的研究者“赢得”了硬件彩票。 他们利用GPU的高效加速功能训练神经网络，可以取得迅速的进展。

硬件彩票显示了一个问题:如果整个这个领域的人都成为胜者，那么很难探索新的东西。 硬件发展速度缓慢，芯片制造商需要进行大量收益率不确定的前期投资。 一种保险的做法是优化矩阵乘法，现状是。 但从长期来看，关注这种硬件和算法的特定组合的方法限制了我们的选择。

让我们回到第一个问题。 为什么今天的人工智能这么贵？ 答案可能是，我们还没有合适的硬件。 硬件彩票的存在是给予商业激励的机制，我们在经济上很难摆脱现在的现状。

一个很好的例子是Geoffrey Hinton的胶囊神经网络，一种新的计算机视觉方法。 谷歌的研究者Paul Barham和Michael Isard发现，这种方法在CPU上有效，但在GPU和TPU上无效。

这背后的原因是什么？ 加速器的优化例如对标准矩阵乘法等最频繁的操作进行，但胶囊卷积的优化缺乏。 他们的结论(也是论文的标题)是机器学习系统陷入困境。

AI研究者有可能“过度适应”现有硬件，长期抑制这一领域的创新。

前进的道路

“为了取得下一步的突破，可能需要结合硬件、软件和算法对世界进行建模这一本质上的区别。 ”。

在人脑中，记忆和计算不是发生在两个独立的部分，相反发生在同一个地方的神经元上。 记忆来源于神经元通过突触连接的方式，计算来自神经元触发感觉输入传递的信息的方式。 就像早期的计算机一样，硬件和算法是一样的。个东西这和我们今天构建人工智能的方法不同。

由GPU和TPU驱动的深度神经网络在现在的很多任务中都很优秀，但不是长期的方法。 这些可能只是硬件和算法组合体系结构广阔前景下的局部最优解.。

我意识到只有算法是不够的是前进道路的开始。 株洲平果7p手机换屏价格新一代人工智能需要在硬件和算法方面进行创新。 直到GPU出现，AI研究才停止。 如果没有硬件上的突破，我们可能会再次陷入发展停滞的困境。