图片来源：Interesting Engineering

模拟人工智能（AI）硬件——而不是数字硬件——能否挖掘快速、低能耗的处理方式来解决机器学习不断上升的成本和碳足迹？

研究人员说可以：NTT研究院和康奈尔大学的研究科学家洛根-莱特(Logan Wright)和小野寺太津博(Tatsuhiro Onodera)设想了一个未来，机器学习（ML）将用新型物理硬件进行，比如那些基于光子学或纳米力学的硬件。他们说，这些非常规的设备可以应用于边缘（计算）和服务器环境。

深度神经网络是当今人工智能工作的核心，它取决于对GPU（图形处理器）等数字处理器的大量使用。但多年来，人们一直担心机器学习的货币和环境成本，这越来越限制了深度学习模型的可扩展性。

例如，马萨诸塞大学阿默斯特分校2019年的一篇论文，对训练几种常见的大型人工智能模型进行了生命周期评估。它发现，这个过程可以排放超过626,000磅（283.95吨）的二氧化碳当量——几乎是普通美国汽车生命周期排放量的五倍，其中包括汽车本身制造过程的排放量。

在7月19日VB Transform的高管峰会上，NTT 研究院的首席执行官五味和洋(Kazuhiro Gomi)表示，机器学习不必依赖数字电路，而是可以在物理神经网络上运行。这是一种人工神经网络，其中使用物理模拟硬件来模拟神经元，而非基于软件的方法。

“使用模拟系统而不是数字系统的一个明显好处是人工智能的能源消耗，”他说。“消耗问题是真实存在的，所以问题是有什么新的方法可以使机器学习更快、更节能？”

模拟人工智能：更像大脑？

莱特指出，从人工智能的早期历史来看，人们并没有在试图去思考如何制造数字计算机。

“他们试图思考我们如何能够模拟大脑，很显然大脑并不是数字的，”他解释说。“我脑子里的是一个模拟系统，它在执行深度神经网络中的计算类型方面实际上比今天的数字逻辑电路要高效得多。”

大脑是执行人工智能的模拟硬件的一个例子，但其他例子还包括使用光学的系统。

“我最喜欢的例子是波，因为像光学这样的很多东西都是基于波的，”他说。“例如，在一个浴缸里，你可以制定问题，对一组数字进行编码。在浴缸的前端，你可以设置一个波，波的高度给你这个矢量X。你让系统演化一段时间，波传播到浴缸的另一端。一段时间后，你可以测量它的高度，这就给了你另一组数字。”

从本质上讲，大自然本身就可以进行计算。“而且你不需要把它插入任何东西，”他说。

模拟人工智能硬件方法

整个行业的研究人员正在使用各种方法来开发模拟硬件。例如，IBM研究院已经投资于模拟电子技术，特别是记忆电阻器技术，以进行机器学习计算。

“这是相当有希望的，”小野寺说。“这些记忆电阻器电路具有在电子‘流经’电路时信息被自然计算的特性，使它们的能耗可能比数字电子产品低得多。”

然而，NTT研究院专注于一个更普遍的框架，不限于记忆电阻器技术。他说：“我们的工作重点是使其他物理系统，例如那些基于光和力学（声音）的系统，也能够进行机器学习。通过这样做，我们可以在产生信息的原生物理领域制作智能传感器，例如在智能麦克风或智能相机的情况下。”

包括Mythic在内的初创公司还专注于使用电子技术的模拟人工智能——莱特说这是“伟大的一步，它可能是进入模拟神经网络的最低风险方式”。但它也是渐进式的，而且上限有限，他补充说：“如果硬件仍然基于电子学，那么性能的改进就只有这么多。”

模拟人工智能的长期潜力

一些创业公司，如LightMatter、Lightelligence和Luminous Computing，利用光，而不是电子来进行计算——这被称为光子学。莱特说，这是更有风险、不太成熟的技术。

他说：“但其长期的潜力更令人兴奋。基于光的神经网络可能会更加节能。”

然而，光和电子并不是你唯一可以用来制作计算机的东西，特别是对于人工智能，他补充说。“你可以用生物材料、电化学（像我们自己的大脑），或者用液体、声波（声音）或机械物体来制作，使最早的机械计算机现代化。”

例如，麻省理工学院研究院上周宣布，它拥有了新的质子可编程电阻器，这是一个模拟人工神经元和突触的网络，可以通过在错综复杂的层中反复重复可编程电阻器阵列来进行类似于数字神经网络的计算。他们说，他们在制造过程中使用了一种“实用的无机材料”，使他们的设备“运行速度比以前的版本快100万倍，这也比人脑中的突触快约100万倍。”

NTT研究院说，它正从所有这些方法中退后一步，提出更大、更长远的问题：我们可以用什么来制造计算机？如果我们想实现最高的速度和能效的人工智能系统，我们应该用什么来制造它们？

“我们的论文为这些问题提供了第一个答案，告诉我们如何使用任何物理基质制作神经网络计算机，”洛根说。“而且到目前为止，我们的计算表明，制造这些不寻常的计算机很快有一天就会有很大的意义，因为它们可以比数字电子技术，甚至是比模拟电子技术更有效率。到目前为止，基于光的神经网络计算机似乎是最好的方法，但即使是这个问题也没有得到完全回答。”

模拟人工智能不是唯一的非数字硬件赌注

据前谷歌大脑研究员萨拉-胡克（Sara Hooker）称——她目前经营着非营利性研究实验室Cohere for AI——人工智能行业“正处于这个非常有趣的硬件阶段”。

她解释说，十年前，人工智能的大规模突破实际上是一种硬件突破。“深度神经网络直到GPU才发挥作用，GPU本来被用于视频游戏，只是被重新用于深度神经网络，”她说。

她补充说，这种变化几乎是瞬间发生的。她说：“一夜之间，需要13,000个CPU的东西一夜之间变成只需要两个GPU，”她说。“这就是它多么富有戏剧性。”

她说，很有可能还有其他表现世界的方式，可以和数字系统同样强大。“如果这些数据方向中哪怕有一个开始显示出进展，它就可以释放出很多既高效又不同的学习表现方式，”她解释说。“这就是使各实验室值得支持它们的原因。”

胡克在2020年的文章《硬件彩票》（The Hardware Lottery，见https://hardwarelottery.github.io/）中探讨了各种硬件工具成功和失败的原因，她说GPU在深度神经网络方面的成功 “实际上是一个奇怪的、幸运的巧合--它赢得了彩票”。

她解释说，GPU从来不是为机器学习设计的——它们是为视频游戏开发的。因此她说，将GPU用于人工智能的大部分工作 “取决于硬件方面的进展和建模方面的进展之间的正确配合”。“提供更多的硬件选择是最重要的因素，因为它允许有更多的意外时刻，让你看到这些突破。”

然而，当涉及到减少人工智能的成本和碳排放时，模拟人工智能并不是研究人员正在关注的唯一选择。研究人员也将赌注押在其他领域，如现场可编程门阵列（FPGAs）作为数据中心的特定应用加速器，这可以减少能源消耗并提高运行速度。她解释说，也有改进软件的努力。

她说，模拟系统，“是风险较大的赌注之一”。

当前方法的过期时间

不过，风险还是要有人来承担的，胡克说。当被问及她是否认为大型科技公司正在支持模拟和其他类型的替代非数字人工智能的未来时，她说：“百分之百。有一个明确的动机。”她补充说，现在缺乏的是政府对长期硬件局面的持续投资。

她说：“当投资完全依赖于公司时，一切总是很棘手，因为它的风险很大。它往往必须是民族主义战略的一部分，才能成为一个令人信服的长期赌注。”

胡克说，她不会把自己的赌注押在广泛的模拟人工智能硬件采用上，但坚持认为其研究工作对整个生态系统有利。

“这有点像美国航空航天局最初的登月飞行，”她说。“有那么多的科学突破是通过有了一个目标而发生的。”

她提醒说，该行业目前的做法是有期限的。“在这个领域的人都明白，必须对风险更大的项目进行一些赌注。”

模拟人工智能的未来

NTT的研究人员明确表示，他们的模拟人工智能工作的最早、最窄的应用将至少需要5到10年才能实现——即使如此，也可能首先用于特定的应用，如在边缘计算。

“我认为最近期的应用将发生在边缘计算，那里的资源较少，你可能没有那么多电力，”小野寺说。“我认为这确实是最有潜力的地方。”

莱特说，该团队正在思考的一件事是，哪种类型的物理系统将是最可扩展的，并在能源效率和速度方面提供最大的优势。但就进入深度学习基础设施而言，它可能会逐步发生。

他说：“我认为它将慢慢进入市场，有一个多层网络，也许前端发生在模拟领域。我认为这是个更可持续的方法。”