鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI
大型模型目前占据的领导地位是暂时的，预计在未来五至十年内，它将不再是技术发展的尖端。
这是由新近荣获图灵奖的杰出科学家、被誉为强化学习领域的奠基人Richard Sutton所提出的关于未来的最新观点。
正值新加坡国立大学（NUS）迎来建校120周年的重要时刻，Sutton荣幸地接受了演讲邀请，主题聚焦于探讨人工智能与强化学习的未来发展。
实际上，这并非Sutton首次在公共场合阐述此类见解；早在他的著作《痛苦的教训》于19年问世时，他就已明确指出：
AI，尤其是LLM若试图模拟人类的思维模式，虽能在短期内实现性能的短暂提升，但从长远角度来看，却可能成为研究持续发展的障碍。
在其四月份最新发布的论文《步入体验新纪元》中，他再次重申了这一观点，并且明确提出，拓展计算才是解决之道。
本次NUS120演讲持续了一个多小时，内容丰富，信息量极其庞大。
让我们一起来看看完整演讲内容。
LLM主导是暂时的
Sutton最初指出，我们正处在数据时代，而诸如GPT这样的巨型语言模型，其训练过程依赖于对人类生成的大量数据（包括文本、图像和视频等）进行深入分析。
但始终追逐人类思维方式，至多也只能达到“人类水平”。
在数学和科学等众多学科中，人类所积累的数据知识已趋近于顶峰，人工智能在现有认知框架内难以实现突破，单纯依赖模仿的方式已难以催生新的创新成果。
人工智能的发展迫切需要引入新的数据资源，并且这一需求会随着人工智能能力的提升而不断增长，单纯依赖静态的数据集是远远不够的。
因此，他坚信AI最终将不再仅仅依赖人类提供的数据，而是通过Agent与外部世界的直接互动，来收集所谓的“体验数据”以实现学习。
在AlphaGo与李世石的第二场对决中，其第37步棋，这一堪称神来之笔的走法，在人类看来显得极其不寻常，充分揭示了人工智能在通过体验学习所展现出的思考深潜力。
也就是说，在自我体验的过程中，AI将不断进行自我更新和升级，生成更高级别的数据，并将这些数据反馈给自身，从而形成一个“越学越强”的良性循环。
不受人类现有认知边界的束缚，我们能够无拘无束地深入未知领域，探索诸如全新的科学理论、创新材料设计等方面的奥秘。
Sutton举了个例子：
初学走路的幼童会积极地去探索四周的环境，通过这种探索来主动获取知识。随着他们认知能力的提升，每次与环境的互动方式都会因积累的经验而有所变化。
因此，AI的发展前景将归属于那个以互动与经验积累为核心的“体验时代”。在这个时代，Agent必须从经验中汲取知识，而这项任务远远超出了语言模型（LLM）所能承担的范围。
尽管当前的大型语言模型在整合全球知识方面表现卓越，然而，通往这一未来发展的关键途径依然是强化学习。
强化学习是以经验学习为基础构建的，然而要充分挖掘强化学习的全部潜能，就必须拥有能够持续进行学习的深度学习算法。
这需要依托于对海量计算能力的最大化利用，并通过持续依赖搜索与学习技术来增强计算能力，以便满足人工智能性能提升的需求。
可以说，从长远看，真正的突破还是来自规模计算。
不同Agent去中心化互利共赢
在讨论Agent的发展趋势时，Sutton建议，对于具有不同目标的Agent，可以探索采用去中心化的协作方式。
他坚信，各个Agent所接收的奖励指示均有所差异，并且它们均致力于追求自身收益的最大化。因此，只需确保每个Agent都能达成其既定目标，并通过彼此间的交流合作，便能够达到双方互惠互利、共同受益的局面。
这恰似人类社会中经济的运作，得益于自然语言及货币的创造，尽管个体目标与能力各异，但在互动中彼此协调合作，亦能取得相当成效。
但还是有不少人主张集中控制AI，甚至呼吁暂停AI。
Sutton提出，这种声音主要源自对未知的担忧。我们应当认识到个体目标的多元化，并努力构建一个合作性的秩序。实际上，AI的巨大潜力正体现在其去中心化的合作能力之中。
Sutton还提出了“设计时代”这一理念，指出当前机器正逐渐展现出类似生命的特征，同时生命体也被看作是生物构成的机器。
生命与技术根本不同，生命是在无意识中复制而生的，而技术则是设计师在意识与想象的基础上，经过设计后得以实现，这整个过程就是一个设计过程，而且技术成果也更容易进行优化和改进。
人类致力于AI的发展，旨在追求设计的极致境界——创造出能够自我设计的智能体。在这个过程中，人类将扮演着催化剂和创造者的双重角色，将AI视为推动社会进步的契机，而非仅仅是技术成果。
One More Thing
Sutton的言论一出，很快在社区引起了激烈讨论。
支持者们普遍认为，技术创新往往源自于未知的领域和偶然的发现，而目前趋于成熟的LLM模型似乎正接近其发展的极限。
反对派人士坚持认为，技术的进步依赖于持续的优化，他们推测LLM可能并非人工智能的终极形态，然而，它无疑在通用人工智能的发展历程中扮演着至关重要的角色。
你对大型语言模型的发展趋势有何见解？期待你在评论区分享你的观点。
参考链接：
该链接指向的内容禁止对特定内容进行修改，且对相关开发者实施了限制。
严禁对视频进行任何形式的修改，包括但不限于剪辑、篡改内容等，同时禁止在未经允许的情况下对视频进行传播或分享。
该链接指向的内容禁止对特定内容进行修改。
https://goo.gle/3EiRKIH
