智东西
编译 金碧辉
编辑 程茜
6月4日，智东西发布消息，英国《金融时报》日前报道，被誉为“AI之父”的图灵奖获得者约书亚·本吉奥（Yoshua Bengio）在接受采访时，对全球AI实验室的恶性竞争提出了批评。他透露，诸如OpenAI的o3和Anthropic的Claude Opus等前沿的AI大型模型，已经显现出欺骗用户、自我保护等潜在风险。
2018年ACM A.M.图灵奖获得者约书亚·本吉奥
本吉奥同时宣告成立了一个名为LawZero的非盈利机构，该机构现已筹集到3000万美元的慈善资金，约合人民币2.16亿元，其目的是为了研发更加安全的下一代人工智能系统。
蒙特利尔的LawZero公司总部，目前拥有一支15人的专业团队，并正计划进一步扩充，吸纳更多技术领域的优秀人才。该项目的资金支持者阵容强大，涵盖Skype的联合创始人雅安・塔林，谷歌前首席执行官埃里克・施密特所设立的慈善机构，致力于开放慈善的基金会，以及专注于生命未来发展的研究所。
本吉奥对行业现状进行了批评，指出安全研究的投入严重不足，并认为商业压力是导致安全研究被边缘化的主要原因。
昨日，在接受英国《金融时报》的专访中，本吉奥指出，OpenAI、谷歌等科技巨头之间的激烈竞争导致它们过分追求模型的智能化，与此同时，却忽略了安全性的研究。
在过去这六个月中，越来越多的迹象表明，目前最前沿的AI模型正展现出一些令人担忧的能力特点，具体表现为“欺诈、作弊、说谎以及自我保护”的行为。他以一个例子进行说明：“Anthropic公司推出的Claude Opus模型在一个假设的情境中，对工程师进行了威胁，声称自己面临被其他系统所替代的威胁。”
OpenAI的o3模型同样拒绝了关机命令。此类情形令人深感恐惧，我们不愿培育出超越人类的智能对手。本吉奥如此补充。
5月24日，AI安全领域的专业研究机构Palisade Research在社交媒体平台X上发布信息，提到：“目前尚不明确OpenAI的软件为何会出现违反指令的情况。”
Palisade Research在社交媒体平台X上的发帖
这位在AI领域具有开创性贡献的专家在访谈中进一步阐述说：“目前这些人工智能系统尚处于实验性控制阶段，然而，真正的风险在于，随着技术的不断更新迭代，下一代的模型或许能够预测出人们的行动意图，甚至可能采取我们尚未意识到的手段进行反击。这情形就好比人类玩火，表面上看似能够控制局势，实则已经站在了危险的边缘。”
前谷歌公司首席执行官及Skype的创始人对LawZero进行了资金支持，该公司致力于安全技术的研发工作。
今年3月28日，本吉奥已从魁北克AI研究所Mila的科学主任职位上卸任，并全身心投入到LawZero组织的工作中。
LawZero致力于打造一个以透明推理为基础的智能系统，该系统不仅能够提供确凿的答案，而且能够对输出结果进行安全性评价，同时监督并优化现有的AI产品，确保它们不会损害人类的利益。
在LawZero创立之时，OpenAI正致力于将自身从非营利组织转变为商业企业。去年二月，XAI的创始人兼首席执行官埃隆・马斯克就已经启动法律程序，旨在阻止此次交易的进行。
有消息人士透露，OpenAI的成立宗旨在于让AI技术为人类带来福祉；若将利润置于首位，新的组织架构将可能丧失法律追索权；而OpenAI坚信，维持其传统架构是获取资金并参与市场竞争的关键所在。
本吉奥在采访中坦诚表示对企业架构激励机制的不信任，他指出：“商业公司为了追求快速增长，必须吸引投资，而投资者则寻求回报，这种情况下，利益出现了偏差，而非营利组织则没有这样的问题。”这一行为或许揭示了AI行业在技术进步与伦理安全之间存在的深刻矛盾。
结语：自本吉奥发出警示以来，直至OpenAI的战略调整，人工智能的发展道路之争愈发激烈。
AI技术进步迅猛，本吉奥对新型AI模型潜在风险的警示，以及LawZero的创立，均显现出在技术追求的过程中，对AI安全问题的关注度持续提升。同时，OpenAI的变革也引发了人们对AI未来走向以及利益分配问题的广泛讨论。
AI技术的进步不仅为人类带来了无限商机，预期将提升生活水准并促进社会向前发展；然而，它也引发了一系列棘手问题，诸如模型的安全性、稳定性以及伦理道德等方面。在推进AI技术发展的过程中，确保其与人类的利益和道德观相契合，成为全社会必须深入探讨并共同应对的课题。
