中外科学家发出AI安全警告：我们正处于人工智能的“奥本海默时刻”
-
图源：北京智源人工智能研究院图源：北京智源人工智能研究院(photo:JieMian)界面新闻记者 | 陈振芳界面新闻编辑 | 宋佳楠
“我们知道世界将会不同。一些人笑了，一些人哭了，绝大多数人沉默不语。”1945年7月16日凌晨5点30分，第一次核试验后，原子弹之父罗伯特·奥本海默如是说。
如今，AI正在越来越多地被拿来与核武器类比，也被认为是“人类最后的技术”。
近日，智源大会举办的两天内，大模型创业者像明星一样被人群紧紧围绕、合影。尽管极少谈论商业版图，他们的言论仍旧被迅速扩散开来。当AI从业者享受前所未有的追捧时，有关AI安全的讨论也成为重中之重。
当外界还在聚焦于GPT5何时发布，重磅炸弹是什么时，他们提问：如果AI能力被坏人拿走了，将会发生什么？如果AI可以控制现实世界，人类该怎么办？
来自北京和加州的世界顶尖科学家们都对AGI的发展表达了担忧，围绕AI安全问题展开激辩。他们呼吁政府强有力的监管必须介入AI发展。一个更安全的AI，也意味着更多层面更精细的监管，AI的技术增速放慢。
与之前技术中立不同的是，多位科学家直言：AI是一个新物种，而非一项新技术。
“我们正处于人工智能的‘奥本海默时刻’。”MIT人工智能与基础交互研究中心教授Max Tegmark提醒道，人类距离第一个AI核弹只有几年的时间。
危险的AI
2019年，Stuart Russell来到清华大学开讲座，他刚刚出版了《人类兼容：人工智能及控制问题》一书，给清华大学人工智能学院院长、图灵奖得主姚期智留下深刻印象。
“这不仅仅是作为人的纯粹的智力追求，全世界都已意识到问题的严重性。”姚期智称，AI与人类过往经验不同，过去是坏人试图利用工具作恶，但现在，这个工具可能就是对手。真正的难题在于：人类如何在新的环境中生活？如何与一个比人类更聪明的新物种共存？原则上，这是站不住脚的，两个超级物种很难在地球上共存，并达到平衡。
智源研究院学术顾问委员会主任张宏江则表示，AI可以被应用于任何目标，好或者坏的，就像核武器。AI正在以一种超级快的速度进化。对此，Stuart Russell认为，必须要做好计划，不能任由其像科幻小说的发展那样失控，“那些被认为发生在未来遥远宇宙的事情，可能很快就要发生。”
AI有潜力改善人类生活，但关键在于，如何看待AI这一技术？
有人认为，人类是可有可无的，只要有高智商的机器在地球上运行，就是一个完全可以接受的选择，这是最可怕的事情。Stuart Russel措辞严厉地指出，人类作为一个物种，只能选择安全、有益的AI，要绝对保证AI不会失控，不会伤害我们，“如果没有保证，唯一的选择就是简单地结束人工智能的发展。”
张宏江则表示，潜在的财富加速集中，与可能的工作两极化，大模型将带来新的工业化革命，人们应该关注新的经济体系以及随之而来的风险。过去六个月，并非每件事都那么美好，并非一切都在掌控之中，OpenAI的超级对齐团队解散是一个危险的信号。“对齐是确保AI安全的重要步骤，具有人类价值，但我们是否投入了足够的资源来自救？我们能采取什么行动？”
“我们只有2到4年的窗口期来解决这一问题。”Google DeepMind前沿安全与治理主任Allan Dafoe作出这一判断。在他看来，即将到来的是一种新的生命形式，一个新物种，它将比我们更有能力，要部署比人类水平更高的系统。人工智能文明将很快超过人类的数量，或许会达到1:100，1:1000，甚至更高的人机比例。
在AI技术尚未完全开发出来之前，人们陷入对监管的迷茫：AI安全的目标是什么？
作为这一轮AI技术的最有力推动者——Open AI吸足“火力”。例如奥特曼说，OpenAI的愿景是创造一个安全和有益的AGI，并采取相应的措施来减轻或消除这些风险和影响。Stuart Russell对此持批评意见，称这显然是倒退，“一旦你做了一个AI，它还不安全，那就太晚了，你没有另一个十年的时间来弄清楚如何让它安全。”制造安全的AI就意味着在一个狭窄的框架内开发AI系统。
“大模型将保持其数据私密性，无论公司对软件做出什么声明，都不可信。”据Max Tegmark透露，Open AI的技术水平已经达到GPT4.5，“奥特曼是一个聪明的家伙，我们需要认真地对待他。”
美国最近的一项研究表明，最好的AI系统愚弄了42%的人，让人类以为它是人。Anthropic的达里奥·阿莫给出了一个数字，人类有10%-25%的可能性被AI消灭。
解决之道
为应对AI安全风险，智源将AGI水平和能力划分为0-5级。第3级时，AI的感知和认知能力同时超越人；第4级，当机器从具备意识进化为具备自我意识，人类将沦为次等物种。第5级是AGI的认知不再源于人类知识，AGI神经结构超越人类大脑，形态和智力水平都超出了人类想象，可以适应不同的物理环境，开始宇宙智能进化的新历程。
AI技术的发展速度正在呈指数级增长，但监管尚未跟上，这正是科学家们担心的。
Max Tegmark认为，人工智能的监管应该像医药、航空和核能等领域，“切尔诺贝利事件”的出现则会直接摧毁整个核工业。没有安全，就没有好处。
当法律要求AI系统应该输出真实准确的信息时，很多AI业界的人抱怨这太难了，他们无法实现。鉴于大模型算法无法强制执行，AI系统发展的合理规定都将遭到强烈抵制，因为任何合理的规则都会限制技术开发。
Max Tegmar等多位科学家建议，应该树立AI行业监管规范，例如美国的FDA、中国的国家药品监督管理局、中国民用航空局，有严格的药品和航空安全标准，政府对这些行业负有监管责任，产品只有达到安全标准才能上市。
这些顶尖科学家们主要呼吁从以下三方面对AI实施安全监管。
一是治理AI安全，全球合作至关重要。尽管国际合作是出了名的缓慢，但人工智能的风险是全球性问题，对人类构成了重大甚至极端的风险。人类需要一个以AI安全为主题的大型国际组织。现在全球有30多个主要研究中心，但这些中心缺乏协调沟通，很多工作只能自主行动。
其次，应当先有政府和行业联合制定的统一标准，再销售可信任的人工智能系统。
Max Tegmark表示，必须实施真正的安全标准，以强硬的法律作为后盾，让人工智能像其他行业一样被规范和约束。中国是第一个实施严格人工智能安全法规的国家，而欧盟也在今年3月通过了《人工智能法案》。
再者，“红线”的概念让AI安全变得具体可行。今年3月，Geoffrey Hinton、姚期智、Stuart Russell、傅莹等30余位专家，共同拟定并签署了《北京AI安全国际共识》，为AI划定五条不可逾越的红线：自主复制或改进、权力寻求、协助武器制造、网络安全、欺骗。
上述专家们指出，人们不能仅仅是讨论AI安全与否，因为安全和不安全很难区分，应划定红线并要求AI不能越过这些红线。让AI像药品、核电站、飞机一样，接受合理、安全的监管。
值得关注的是，这一共识并不具有真正的法律效应和强制监管的属性。姚期智认为，从长远来看，人类会建立一套与密码学类似的基础科学工具，主要处理知识的生产和分配，以及谁应该拥有何种知识。
Max Tegmark也强调，AI革命将带来巨大危险，如果不以一种安全的方式制造它，所有人都是输家，只有机器会赢。
界面新闻记者 | 陈振芳界面新闻编辑 | 宋佳楠
“我们知道世界将会不同。一些人笑了，一些人哭了，绝大多数人沉默不语。”1945年7月16日凌晨5点30分，第一次核试验后，原子弹之父罗伯特·奥本海默如是说。
如今，AI正在越来越多地被拿来与核武器类比，也被认为是“人类最后的技术”。
近日，智源大会举办的两天内，大模型创业者像明星一样被人群紧紧围绕、合影。尽管极少谈论商业版图，他们的言论仍旧被迅速扩散开来。当AI从业者享受前所未有的追捧时，有关AI安全的讨论也成为重中之重。
当外界还在聚焦于GPT5何时发布，重磅炸弹是什么时，他们提问：如果AI能力被坏人拿走了，将会发生什么？如果AI可以控制现实世界，人类该怎么办？
来自北京和加州的世界顶尖科学家们都对AGI的发展表达了担忧，围绕AI安全问题展开激辩。他们呼吁政府强有力的监管必须介入AI发展。一个更安全的AI，也意味着更多层面更精细的监管，AI的技术增速放慢。
与之前技术中立不同的是，多位科学家直言：AI是一个新物种，而非一项新技术。
“我们正处于人工智能的‘奥本海默时刻’。”MIT人工智能与基础交互研究中心教授Max Tegmark提醒道，人类距离第一个AI核弹只有几年的时间。
危险的AI
2019年，Stuart Russell来到清华大学开讲座，他刚刚出版了《人类兼容：人工智能及控制问题》一书，给清华大学人工智能学院院长、图灵奖得主姚期智留下深刻印象。
“这不仅仅是作为人的纯粹的智力追求，全世界都已意识到问题的严重性。”姚期智称，AI与人类过往经验不同，过去是坏人试图利用工具作恶，但现在，这个工具可能就是对手。真正的难题在于：人类如何在新的环境中生活？如何与一个比人类更聪明的新物种共存？原则上，这是站不住脚的，两个超级物种很难在地球上共存，并达到平衡。
智源研究院学术顾问委员会主任张宏江则表示，AI可以被应用于任何目标，好或者坏的，就像核武器。AI正在以一种超级快的速度进化。对此，Stuart Russell认为，必须要做好计划，不能任由其像科幻小说的发展那样失控，“那些被认为发生在未来遥远宇宙的事情，可能很快就要发生。”
AI有潜力改善人类生活，但关键在于，如何看待AI这一技术？
有人认为，人类是可有可无的，只要有高智商的机器在地球上运行，就是一个完全可以接受的选择，这是最可怕的事情。Stuart Russel措辞严厉地指出，人类作为一个物种，只能选择安全、有益的AI，要绝对保证AI不会失控，不会伤害我们，“如果没有保证，唯一的选择就是简单地结束人工智能的发展。”
张宏江则表示，潜在的财富加速集中，与可能的工作两极化，大模型将带来新的工业化革命，人们应该关注新的经济体系以及随之而来的风险。过去六个月，并非每件事都那么美好，并非一切都在掌控之中，OpenAI的超级对齐团队解散是一个危险的信号。“对齐是确保AI安全的重要步骤，具有人类价值，但我们是否投入了足够的资源来自救？我们能采取什么行动？”
“我们只有2到4年的窗口期来解决这一问题。”Google DeepMind前沿安全与治理主任Allan Dafoe作出这一判断。在他看来，即将到来的是一种新的生命形式，一个新物种，它将比我们更有能力，要部署比人类水平更高的系统。人工智能文明将很快超过人类的数量，或许会达到1:100，1:1000，甚至更高的人机比例。
在AI技术尚未完全开发出来之前，人们陷入对监管的迷茫：AI安全的目标是什么？
作为这一轮AI技术的最有力推动者——Open AI吸足“火力”。例如奥特曼说，OpenAI的愿景是创造一个安全和有益的AGI，并采取相应的措施来减轻或消除这些风险和影响。Stuart Russell对此持批评意见，称这显然是倒退，“一旦你做了一个AI，它还不安全，那就太晚了，你没有另一个十年的时间来弄清楚如何让它安全。”制造安全的AI就意味着在一个狭窄的框架内开发AI系统。
“大模型将保持其数据私密性，无论公司对软件做出什么声明，都不可信。”据Max Tegmark透露，Open AI的技术水平已经达到GPT4.5，“奥特曼是一个聪明的家伙，我们需要认真地对待他。”
美国最近的一项研究表明，最好的AI系统愚弄了42%的人，让人类以为它是人。Anthropic的达里奥·阿莫给出了一个数字，人类有10%-25%的可能性被AI消灭。
解决之道
为应对AI安全风险，智源将AGI水平和能力划分为0-5级。第3级时，AI的感知和认知能力同时超越人；第4级，当机器从具备意识进化为具备自我意识，人类将沦为次等物种。第5级是AGI的认知不再源于人类知识，AGI神经结构超越人类大脑，形态和智力水平都超出了人类想象，可以适应不同的物理环境，开始宇宙智能进化的新历程。
AI技术的发展速度正在呈指数级增长，但监管尚未跟上，这正是科学家们担心的。
Max Tegmark认为，人工智能的监管应该像医药、航空和核能等领域，“切尔诺贝利事件”的出现则会直接摧毁整个核工业。没有安全，就没有好处。
当法律要求AI系统应该输出真实准确的信息时，很多AI业界的人抱怨这太难了，他们无法实现。鉴于大模型算法无法强制执行，AI系统发展的合理规定都将遭到强烈抵制，因为任何合理的规则都会限制技术开发。
Max Tegmar等多位科学家建议，应该树立AI行业监管规范，例如美国的FDA、中国的国家药品监督管理局、中国民用航空局，有严格的药品和航空安全标准，政府对这些行业负有监管责任，产品只有达到安全标准才能上市。
这些顶尖科学家们主要呼吁从以下三方面对AI实施安全监管。
一是治理AI安全，全球合作至关重要。尽管国际合作是出了名的缓慢，但人工智能的风险是全球性问题，对人类构成了重大甚至极端的风险。人类需要一个以AI安全为主题的大型国际组织。现在全球有30多个主要研究中心，但这些中心缺乏协调沟通，很多工作只能自主行动。
其次，应当先有政府和行业联合制定的统一标准，再销售可信任的人工智能系统。
Max Tegmark表示，必须实施真正的安全标准，以强硬的法律作为后盾，让人工智能像其他行业一样被规范和约束。中国是第一个实施严格人工智能安全法规的国家，而欧盟也在今年3月通过了《人工智能法案》。
再者，“红线”的概念让AI安全变得具体可行。今年3月，Geoffrey Hinton、姚期智、Stuart Russell、傅莹等30余位专家，共同拟定并签署了《北京AI安全国际共识》，为AI划定五条不可逾越的红线：自主复制或改进、权力寻求、协助武器制造、网络安全、欺骗。
上述专家们指出，人们不能仅仅是讨论AI安全与否，因为安全和不安全很难区分，应划定红线并要求AI不能越过这些红线。让AI像药品、核电站、飞机一样，接受合理、安全的监管。
值得关注的是，这一共识并不具有真正的法律效应和强制监管的属性。姚期智认为，从长远来看，人类会建立一套与密码学类似的基础科学工具，主要处理知识的生产和分配，以及谁应该拥有何种知识。
Max Tegmark也强调，AI革命将带来巨大危险，如果不以一种安全的方式制造它，所有人都是输家，只有机器会赢。
