文章主题：AI, ChatGPT, 量子位, Center for AI Safety
ChatGPT老板警告：AI可能灭绝人类
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
图灵奖得主Bengio和Hinton，同时警告 AI可能灭绝人类！
就在昨夜，一封签署名单多达350人的公开信迅速传播开去，信中核心只有一句话：
“降低AI灭绝人类的风险”，应该像流行病和核战争等其它社会规模的风险一样，成为全球的优先事项。
签署这封公开信的，既包括三大AI巨头的CEO，即ChatGPT老板、 OpenAI的Sam Altman， DeepMind的Demis Hassabis和 Anthropic的Dario Amodei；
也包括不少国内外高校的教授，除了Yoshua Bengio和Geoffrey Hinton以外，清华AIR院长 张亚勤和斯坦福教授、图灵奖得主 Martin Hellman等人也名列其中。
近期，AI风险的诸多话题频繁引发讨论。OpenAI公司的CEO Sam Altman在前段时间提出了一个有趣的观点，他认为人们对AI的监管应该如同对待核设施一般谨慎。这一观点强调了AI风险的重要性，也凸显了在发展AI技术的同时，我们需要对潜在的风险有足够的认识并采取相应的措施进行防范。
所以，究竟是谁发起的这封公开信倡议，又是否有AI大牛反对这件事？
为何签署这封信？
这封公开信的发布机构名为Center for AI Safety（CAIS），这家机构是一个致力于人工智能安全研究的非盈利组织。
在这封公开信的开头，CAIS反复强调：
包括AI专家、记者、政策制定者和公众在内，越来越多的人开始讨论AI带来的一系列重要和紧迫的风险。
尽管如此，对于先进人工智能潜在风险的表达仍然具有一定的挑战性。为此，我们撰写了一封公开信，意在克服这一难题，并引发关于相关问题的讨论。我们希望更多的专家和知名人士能够关注并认识到了这些问题。
许多已签署此信的AI专家近期都发表了对AI风险的看法,其中一些人还在博客文章或是访谈中分享了自己的见解。
最近一段时间，Yoshua Bengio撰写了一篇颇具深度的文章，他在其中明确指出，人类大脑作为生物机器的本质，注定了会有一天会被超越它的超级智能AI所取代。这封信语义深远，引发了广泛的讨论和思考。
在最近的访谈活动中，一些知名人士也谈到了人工智能可能带来的潜在风险。例如，Stability AI的创始人Emad Mostaque以及剑桥大学助理教授David Krueger等专家都曾在访谈中提及这一点。
例如，Emad Mostaque认为，10年后包括Stability AI、OpenAI和DeepMind在内，这些AI公司的规模甚至会超过谷歌和Facebook。
也正是因此，AI风险是一个必须要考虑的事情：
我们可能正处于全面变革的风口浪尖，这些变革对于任何一家公司或是国家来说都太过庞大，以至于难以管理。
没签的AI大牛怎么说？当然，这波闹得沸沸扬扬的“请求AI监管”浪潮下，也有不少反对的声音。
目前为止，包括另一位图灵奖得主Yann LeCun、前特斯拉AI总监Andrej Karpathy还有吴恩达等 AI大牛在内，都还没签署这封联名信。
吴恩达发推回应称：
当我想到大部分人类生存面临的风险时：流行病、气候变化导致大规模人口减少、（撞击地球的）小行星……
AI将是我们寻找解决方案的关键部分。所以，如果你想让人类在接下来的1000年里生存和繁荣，那就让AI发展得更快，而不是更慢。
LeCun转发表示同意：
“超人级”AI之所以不在风险列表榜首，很大程度上是因为它还不存在。至少我们在设计出达到狗智商（更不用说人类了）的AI之前，讨论它的安全性还为时过早。
对此，纽约大学教授 Gary Marcus补充道：
不要把框架缩小到只关注人类灭绝的风险。AI其实还存在许多其他的严重风险，包括可能帮助开发生物武器等。
不过，Gary Marcus同样没有签署这份350人公开信。
显然包括不少AI大牛在内，反对者主要有两种意见。
一种意见认为，AI技术确实存在风险，但这封公开信涉及到的内容太泛泛。
如果有更精确的声明如“减轻AI技术的潜在风险应该是科技行业、政府和该领域学术研究人员的首要任务”，那么这封信还是可以签署的。
这封公开信中的内容根本就是夸大其词了，而且AI在气候变化等领域甚至可以起到降低风险的作用。
另一类意见则认为，这封信只不过是当前掌握最领先AI技术的人，试图控制AI接下来的走向而已。
以OpenAI的CEO Sam Altman为例：
Sam Altman要是真的担心，大可以现在直接关掉ChatGPT服务器。
所以，你认为按照现在的进度来看，AI有可能灭绝人类吗？
— 完—
「量子位·视点」直播报名
传统教育模式在信息时代遇到了怎样的限制与挑战？元宇宙、AIGC等新技术将如何开拓教培行业的新机遇？
6月1日周四19:00，参与直播，为你解答～
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~ 返回搜狐，查看更多
责任编辑：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
