强化学习从棋盘游戏到蛋白质设计

科学家们已经成功地将强化学习应用于分子生物学的挑战。

研究人员团队开发了功能强大的新型蛋白质设计软件，该软件改编自一种被证明擅长棋盘游戏(如国际象棋和围棋)的策略。在一项实验中，发现用新方法制造的蛋白质在小鼠体内产生有用抗体方面更有效。

4 月 21 日发表在《科学》杂志上的研究结果表明，这一突破可能很快会导致产生更有效的疫苗。更广泛地说，这种方法可能会引领蛋白质设计的新纪元。

“我们的结果表明，强化学习可以做的不仅仅是掌握棋盘游戏。在接受训练以解决蛋白质科学中长期存在的难题时，该软件在创造有用的分子方面表现出色，”华盛顿大学生物化学教授、资深作者大卫贝克说。西雅图医学和 2021 年生命科学突破奖获得者。

“如果将这种方法应用于正确的研究问题，”他说，“它可以加速各种科学领域的进步。”

该研究是利用人工智能进行蛋白质科学研究的里程碑。潜在的应用是巨大的，从开发更有效的癌症治疗到创造新的可生物降解的纺织品。

强化学习是一种机器学习，其中计算机程序通过尝试不同的动作和接收反馈来学习做出决策。例如，这样的算法可以通过测试导致棋盘上获胜或失败的数百万种不同动作来学习下国际象棋。该计划旨在从这些经验中学习，并随着时间的推移更好地做出决策。

为了制作用于蛋白质设计的强化学习程序，科学家们为计算机提供了数百万个简单的起始分子。然后，该软件进行了一万次尝试，随机改进每一个以达到预定义的目标。计算机将蛋白质加长或以特定方式弯曲它们，直到它学会如何将它们扭曲成所需的形状。

贝克实验室的所有成员 Isaac D. Lutz、Shunzhi Wang 和 Christoffer Norn领导了这项研究。他们团队的科学手稿标题为“自上而下的强化学习蛋白质结构设计”。

“我们的方法是独一无二的，因为我们使用强化学习来解决创建像拼图一样拼在一起的蛋白质形状的问题，”威斯康星大学医学蛋白质设计研究所的博士生、共同主要作者 Lutz 解释说。“这根本不可能使用以前的方法，并且有可能改变我们可以构建的分子类型。”

作为这项研究的一部分，科学家们在实验室中制造了数百种人工智能设计的蛋白质。使用电子显微镜和其他仪器，他们证实了计算机创建的许多蛋白质形状确实在实验室中实现了。

“事实证明，这种方法不仅准确，而且高度可定制。例如，我们要求软件制作无孔、小孔或大孔的球形结构。它制造各种结构的潜力尚未得到充分探索，”威斯康星大学医学蛋白质设计研究所的博士后学者、共同主要作者王顺志说。

该团队专注于设计由许多蛋白质分子组成的新型纳米级结构。这需要设计蛋白质成分本身和允许纳米结构自组装的化学界面。

电子显微镜证实，许多人工智能设计的纳米结构能够在实验室中形成。为了衡量设计软件的准确性，科学家们观察了许多独特的纳米结构，其中每个原子都被发现位于预期的位置。换句话说，预期和实际纳米结构之间的偏差平均小于单个原子的宽度。这称为原子精确设计。

作者预见到，在未来，这种方法可以使他们和其他人创造出使用以前的方法无法制造的治疗性蛋白质、疫苗和其他分子。

威斯康星大学干细胞和再生医学医学研究所的研究人员使用血管细胞的原代细胞模型表明，设计的蛋白质支架优于该技术的先前版本。例如，由于帮助细胞接收和解释信号的受体更密集地聚集在更紧凑的支架上，它们在促进血管稳定性方面更有效。

威斯康星大学医学院生物化学教授、该研究的作者之一 Hannele Ruohola-Baker 谈到了这项研究对再生医学的影响：“技术变得越准确，它就越能开辟潜在的应用，包括血管治疗适用于糖尿病、脑损伤、中风和其他血管处于危险中的情况。我们还可以设想更精确地传递我们用来将干细胞分化为各种细胞类型的因子，从而为我们提供调节细胞发育和衰老过程的新方法。”

这项工作由国立卫生研究院资助(P30 GM124169、S10OD018483、1U19AG065156-01、T90 DE021984、1P01AI167966);蛋白质设计研究所的开放慈善项目和大胆项目;诺和诺德基金会 (NNF170C0030446);微软; 和安进。部分研究是在高级光源进行的，高级光源是劳伦斯伯克利国家实验室代表能源部运营的国家用户设施