ChatGPT 和其他大型语言模型 (LLM) 包含数十亿个参数,并在大量网络语料库上进行了预训练,据称它们无需经过专门训练即可获得某些能力。
ChatGPT 和其他大型语言模型 (LLM) 包含数十亿个参数,并在大量网络语料库上进行了预训练,据称它们无需经过专门训练即可获得某些能力。这些能力被称为新兴能力,一直是有关语言模型的潜力和风险讨论的驱动力。巴斯大学研究员 Harish Tayyar Madabushi 和同事在他们的新论文中提出了一种解释新兴能力的新理论,考虑到了其潜在的混杂因素,并通过 1,000 多个实验严格证实了这一理论。他们的研究结果表明,所谓的新兴能力并非真正新兴的,而是情境学习、模型记忆和语言知识相结合的结果。
泰亚尔·马达布希博士说:“普遍的看法是,这种人工智能对人类构成威胁,这阻碍了这些技术的广泛采用和发展,也分散了我们对真正需要关注的问题的注意力。”
Tayyar Madabushi 博士和同事进行了实验,测试 LLM 完成模型从未遇到过的任务的能力——即所谓的突发能力。
举例来说,法学硕士 (LLM) 无需接受过明确的培训或编程便可以回答有关社交场合的问题。
虽然先前的研究表明这是模型“了解”社交情况的产物,但研究人员表明,这实际上是模型利用 LLM 众所周知的一种能力的结果,即根据呈现给他们的几个例子来完成任务,这种能力被称为“情境学习”(ICL)。
通过数千次实验,该团队证明,LLM 的遵循指令的能力、记忆力和语言能力的结合可以解释 LLM 所展现的能力和局限性。
“人们一直担心,随着模型变得越来越大,它们将能够解决我们目前无法预测的新问题,这就构成了威胁,即这些更大的模型可能会获得包括推理和规划在内的危险能力,”Tayyar Madabushi 博士说。
“这引发了很多讨论——例如,在去年布莱切利园举行的人工智能安全峰会上,我们就被要求发表评论——但我们的研究表明,担心一个模型会消失,并做出一些完全出乎意料、创新和潜在危险的事情是没有道理的。”
“对法学硕士带来的生存威胁的担忧并不仅限于非专家,世界各地的一些顶尖人工智能研究人员也表达了这种担忧。”
然而,Tayyar Madabushi 博士和合著者坚持认为这种担心是没有根据的,因为他们的测试清楚地表明法学硕士缺乏新兴的复杂推理能力。
Tayyar Madabushi 博士表示:“虽然解决人工智能滥用的现有可能性(例如制造虚假新闻和增加欺诈风险)很重要,但根据感知到的生存威胁来制定法规还为时过早。”
“重要的是,这对最终用户意味着,依靠 LLM 来解释和执行需要复杂推理而没有明确指示的复杂任务可能是错误的。”
“相反,用户可能会受益于明确指定他们需要模型做什么,并尽可能为除最简单的任务之外的所有任务提供示例。”
达姆施塔特工业大学的 Iryna Gurevych 教授表示:“我们的研究结果并不意味着人工智能根本不构成威胁。”
“相反,我们表明,与特定威胁相关的复杂思维技能的出现并没有证据支持,而且我们毕竟可以很好地控制法学硕士的学习过程。”
“因此,未来的研究应该关注这些模型带来的其他风险,例如它们可能被用于生成虚假新闻。”
声明本站所有作品图文均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系我们