OpenAI的瓜还在继续，甚至已经上升到人类生死的历史高度。

就在上周，头部AI公司OpenAI和谷歌的13位员工（7名OpenAI前员工和4名现任员工，1名谷歌DeepMind现任员工和1名前员工），公然揭晓了一封名为《对先进人工智能发出忠告的权力》的联名信。

在信中，他们用一种极为惊悚的语调示意：“人工智能可能带来的人类灭绝风险”。

01 大权在握的山姆·奥特曼

现在，这封公然信已经引发AI天下的大地震。

甚至还获得了两位2018年图灵奖得主约书亚·本吉奥（Yoshua Bengio）、乔弗里·辛顿（Geoffrey Hinton）的署名支持。

OpenAI和谷歌的员工们在信中曝光出一个异常惊悚的言论：

“AI公司掌握了他们正在研究的人工智能手艺的真正风险所在，但由于他们不需要向政府披露太多信息，因此他们系统的真正能力仍是一个‘隐秘’。若是没有适当的羁系，人工智能系统可以壮大到足以造成严重危害，甚至‘灭绝人类’。”

据信中所说，当前AI公司已经领会到平安性的严重水平，然则在高层内部正在发生分歧甚至盘据，大多数高层以为利润至上，小部门高层以为平安性更为主要。

不得不说，这封公然信戳中了OpenAI的内部问题，甚至隐晦指出去年发作的“OpenAI政变危急”，以及首席科学家伊利亚·苏斯克沃（Ilya Sutskever）的下台。

去年11月，OpenAI发作政变，首席科学家伊利亚·苏斯克沃团结董事会，将CEO山姆·奥特曼和总裁格雷格·布罗克曼开除。

这场宫斗闹剧吸引了全天下的眼光，最终导致背后金主微软的下场，伊利亚·苏斯克沃政变失败，山姆·奥特曼官回复职。

据悉，双方*的矛盾点，就在于AI平安性。

山姆·奥特曼加速OpenAI商业化，在不确定平安性是否会带来严重结果的条件下，依然确立GPT应用商铺，允许私人确立GPT机械人，开放“灰色机械人”入驻ChatGPT。

在OpenAI主要认真AI监视事情的伊利亚·苏斯克沃，坚持AI平安才是OpenAI的焦点，而非商业化，对山姆·奥特曼大刀阔斧的加速商业化历程异常不满。

在2023年发作过多次高层集会争斗之后，最终实行政变。

在政变失败后，山姆·奥特曼彻底将OpenAI酿成“一言堂”，排除多位政见不合的董事职位，将伊利亚·苏斯克沃雪藏半年后开除。

配合确立OpenAI的10年迈同伴黯然出局，但山姆·奥特曼依然没有收手，甚至将平安部门视为“乱党党羽”，也要逐一肃清。

伊利亚·苏斯克沃认真的超级对齐团队，原本是为能够智胜和压倒缔造者的超级智强人工智能的泛起做准备，在伊利亚·苏斯克沃脱离后，团队直接遣散，几名相关研究职员去职。

制约OpenAI风险控制团队遣散，认真AI平安的“最后一把锁”被山姆·奥特曼砸碎，只能说在他眼里，AI平安并没有利益和款项主要。

02 全球400多位大佬联名忠告

清扫异见，让关于“平安性”的隐秘保留在公司内部。

这个做法并不能知足山姆·奥特曼，作为犹太裔的他，多疑是种天性。于是山姆·奥特曼强制性要求员工去职后一周内签署一份极其严酷的“去职协议”：

刘强东能带京东兄弟走多远？

前OpenAI员工必须遵守的“保密条款”和“不贬低条款”，阻止任何时间、任何场所指斥OpenAI，而且纵然认可保密协议的存在也是违反该协议的行为；

若是去职员工拒绝签署，或者违反协议划定，他们可能会失去既得股权，价值数百万美元。

同时，这份“去职协议”的限期是：终生，直至殒命。

不得不说，作为硅谷最有势力的CEO，山姆奥特曼下手真狠。若是把这份“小心员工”的保密精神，用在AI平安上，可能就不会有所谓的人类AI危急了。

最为“癫”的事情来了，山姆·奥特曼一边被外界指责忽视AI平安，一边又在国际AI领域非营利组织“人工智能平安中央”（Center for AI Safety）联名宣布公然信，表达了对一些高级人工智能所带来严重风险的担忧。

是的，不止你会写信，我也会。

从规模上看，“人工智能平安中央”的联名信现在已有400多名全球的人工智能领域科学家、企业高管等签署，影响力更为深远。

全文只有简短的一句话：Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.

（减轻人工智能带来的人类灭绝风险，应该与大盛行病和核战争等其他影响社会的大规模风险一同成为全球性的优先事项。）

狠话虽然放出去了，但没人执行。

在现在的头部AI公司中，普遍对AI平安性并不关注。OpenAI背后的金主微软，早在2023年3月就裁撤了整小我私人工智能部门内道德与社会团队。

在互联网巨企眼中，市场份额远远比“虚无缥缈”的平安性更为要害。

03 AI会不会酿成“智械危急”？

将AI视为“大盛行病、核战争”一致致命危险，并不是危言耸听。

在人工智能 (AI) 手艺的飞速生长下，机械人逐渐成为我们一样平常生涯和事情中的主要组成部门。以现在AI的生长情形来说，人工智能对人类造成生计风险，至少有两种可能。

*种：短期内的AI危急，就是在AI智能水平还不够完善，人类会行使AI来推翻社会平安。例如，等到AI大模子整体开源的时刻，一些造孽之徒行使不加限制的开源代码，采购一些英伟达GPU、再向微软租个云服务器，大批量制造出“灰色机械人”。

这些不加控制、又难以溯源的AI，对人类社会的损坏堪比一枚“电子核弹”。

第二种：远期的AI危急，则更靠近影戏、游戏中的“智械危急”。

当AI来到超级智能的时代，由于智力水平可能远跨越人类，超级智能看待人类犹如人类看待蚂蚁，许多人据此以为超级智能将与人类争取资源，甚至危及到人类的生计。

面临可能对人类社会造成影响的AI危急，谷歌旗下DeepMind公司，在今年头就起草了“机械人宪法”，以确保AI机械人不会危险人类。

以艾萨克・阿西莫夫的“机械人三大定律”为条件，“机械人宪法”明确要求AI机械人在家庭、办公室、工厂等环境场景中，机械人的行为将受到严酷的限制，以确保它们在执行义务时不会对人类、动物、尖锐物体甚至电器造成危险。

此外，该宪法还强调了机械人的自主性和缔造性，使得它们能够在人类无法胜任的环境中执行义务。

或许，机械人宪法给AI时代开了个好头，但面临日益严重的AI平安性问题上，通俗人需要获得的珍爱还不够多。

最最少，先让那些互联网巨企们知道，AI并不简简朴单是笔赚钱的生意，另有可能成为一枚电子核弹。