解决大脑动力学问题可以产生灵活的机器学习模型

去年，麻省理工学院的研究人员宣布他们已经建立了“液体”神经网络，灵感来自小型物种的大脑：一类灵活、强大的机器学习模型，可以在工作中学习并适应不断变化的条件，以确保现实世界的安全-关键任务，如驾驶和飞行。这些“液态”神经网络的灵活性意味着将血统提升到我们互联的世界，为许多涉及时间序列数据的任务做出更好的决策，例如大脑和心脏监测、天气预报和股票定价。

最近对小型物种大脑的研究帮助麻省理工学院的研究人员更好地将神经元和突触(自然和人工神经网络的构建块)之间的相互作用建模为一类灵活、强大的机器学习模型，这些模型可以在工作中学习并能够适应不断变化的变化状况。图片来源：RaminHasani/StableDiffusion

但是随着神经元和突触数量的增加，这些模型的计算成本变得越来越高，并且需要笨重的计算机程序来解决其潜在的复杂数学问题。所有这些数学，类似于许多物理现象，变得更难解决尺寸问题，这意味着需要计算很多小步骤才能得出解决方案。

现在，同一个科学家团队发现了一种缓解这一瓶颈的方法，通过求解两个神经元通过突触相互作用背后的微分方程，解锁了一种新型的快速高效的人工智能算法。这些模式具有与液体神经网络相同的特征——灵活、因果关系、鲁棒性和可解释性——但速度快了几个数量级，而且可扩展。因此，这种类型的神经网络可用于任何涉及随着时间的推移深入了解数据的任务，因为它们即使在训练后也很紧凑且适应性强——而许多传统模型是固定的。

这些模型被称为“封闭式连续时间”(CfC)神经网络，在一系列任务上的表现优于最先进的同类模型，在通过运动传感器识别人类活动、物理建模方面具有更高的加速和性能模拟步行机器人的动力学，以及基于事件的顺序图像处理。例如，在一项医学预测任务中，新模型在对8,000名患者进行抽样时速度提高了220倍。

关于这项工作的一篇新论文发表在《自然机器智能》杂志上。

“我们称之为‘CfC’的新机器学习模型用封闭形式近似取代了定义神经元计算的微分方程，保留了液体网络的美丽特性，而不需要数值积分，”麻省理工学院主任DanielaRus教授说。计算机科学与人工智能实验室(CSAIL)的高级作者和新论文的高级作者。“CfC模型具有因果性、紧凑性、可解释性，并且可以高效地进行训练和预测。它们为安全关键型应用程序开辟了可信赖的机器学习之路。”

保持液体状态

微分方程使我们能够计算世界的状态或一种现象的演变，但不是一直沿用时间——只是一步一步地计算。为了通过时间对自然现象进行建模并了解过去和未来的行为，例如人类活动识别或机器人的路径，该团队伸手到一袋数学技巧中找到了门票：一种“封闭形式”解决方案，可以模拟在单个计算步骤中对整个系统的完整描述。

有了他们的模型，人们可以在未来的任何时间和过去的任何时间计算这个方程。不仅如此，计算速度也快得多，因为你不需要一步一步地求解微分方程。

想象一个端到端的神经网络，它从安装在汽车上的摄像头接收驾驶输入。该网络经过训练以生成输出，例如汽车的转向角。在2020年，该团队通过使用具有19个节点的液体神经网络解决了这个问题，因此19个神经元加上一个小型感知模块可以驱动汽车。微分方程描述了该系统的每个节点。使用封闭形式的解决方案，如果您在该网络内替换它，它将为您提供准确的行为，因为它是对系统实际动态的良好近似。因此，他们可以用更少数量的神经元解决问题，这意味着它会更快，计算成本更低。

这些模型可以接收时间序列(及时发生的事件)形式的输入，可用于分类、控制汽车、移动类人机器人或预测金融和医疗事件。通过所有这些不同的模式，它还可以提高准确性、稳健性和性能，重要的是，还可以提高计算速度——这有时是一种权衡。

解决这个方程对推进自然和人工智能系统的研究具有深远的影响。“当我们对神经元和突触的通信进行封闭形式的描述时，我们可以构建具有数十亿个细胞的大脑计算模型，由于神经科学模型的计算复杂性很高，这种能力在今天是不可能的。封闭形式的方程可以促进这种宏大的模拟，因此为我们理解智能开辟了新的研究途径，”麻省理工学院CSAIL研究附属机构RaminHasani说，他是新论文的第一作者。

随身学习

此外，有早期证据表明LiquidCfC模型可以在一个环境中从视觉输入中学习任务，并将他们学到的技能转移到一个全新的环境中，而无需额外的培训。这被称为分布外泛化，这是人工智能研究最基本的开放挑战之一。

“基于微分方程的神经网络系统很难求解，也很难扩展到例如数百万和数十亿个参数。获得对神经元如何相互作用的描述，而不仅仅是阈值，但解决细胞之间的物理动力学使我们能够建立更大规模的神经网络，”Hasani说。“这个框架可以帮助解决更复杂的机器学习任务——实现更好的表示学习——并且应该成为任何未来嵌入式智能系统的基本构建块。”

“最近的神经网络架构，例如神经ODE和液体神经网络，具有由表示无限潜在状态的特定动力系统组成的隐藏层，而不是显式的层堆栈，”AuroraFlightSciences的人工智能和机器学习小组负责人SildomarMonteiro说，波音公司，未参与本文。“这些隐式定义的模型已经显示出最先进的性能，同时需要的参数比传统架构少得多。然而，由于训练和推理所需的高计算成本，它们的实际采用受到限制。