本文是“交易录峰会”(DealBook Summit)特别报道的一部分,该峰会得到了世界各地商业及政策领袖的参与。
AI公司Anthropic的首席执行官达里奥·阿莫代伊给出的数字是10%到25%之间。联邦贸易委员会主席丽娜·汗近日告诉我,她认为的数值是15%。上月担任了五分钟的OpenAI临时首席执行官的艾米特·席尔告诉我,他得出的数值游移在5%到50%之间。
我这里说的,当然就是p(末日)了,这是硅谷正在热议的一项令人毛骨悚然的新数据。
P(末日)——就是用数学的方式表达“末日的概率”——是一些人工智能研究者在表达他们认为AI有多大可能把我们杀光,或创造别的什么威胁人类生存的灾变。P(末日)高意味着你认为AI末日的可能性大,低意味着你认为我们有机会挺过去。

P(末日)曾经只是网络论坛上一帮AI技术宅之间心领神会的笑话,但随着去年ChatGPT点燃的AI热让人对AI的进步之快产生恐惧,近几个月这个词进入了主流。
它已经成了旧金山技术人士交谈时常用的开场白——也是AI文化里躲不开的一部分。今年我在两场业界活动上遇到陌生人问我的p(末日)是多少,就像在问洗手间怎么走一样随意。“几乎每一场晚餐谈话都会提起,”云数据平台Box首席执行官艾伦·勒维对我说。
P(末日)甚至在上月OpenAI事变中对扮演了一定的角色。席尔被任命为OpenAI临时负责人后,公司雇员之间开始转发他在近日一期博客上的言论,称他的p(末日)可能高达50%。一位讨论时在场的人士说,有员工担心他是个“末日论者”,由于认为这太过冒险,他可能会寻求延缓或限制他们的工作。(被罢免的OpenAI首席执行官萨姆·奥尔特曼最终恢复原职,因此这件事也就无关紧要了。)
当然,科幻迷很久以前就已经开始推想机器人篡夺世界的景象。但在去年ChatGPT推出后,这种威胁似乎显得更真切了。毕竟如果AI模型可以赢得艺术奖项,通过律师资格考试,那么距离劫难还能有多远?
AI行内人也在发出警告。去年从谷歌辞职的著名AI研究者杰弗里·辛顿开始警告AI的风险,他近日估计如果不施加有力的监管,AI在未来30年导致人类灭绝的可能性为10%。和辛顿一同被誉为“深度学习教父”的约书亚·本吉奥在接受采访时说,他认为发生AI大劫难的可能性大约在20%。
没人知道我们被AI杀死的概率是10%、20%还是85.2%。显然这个问题会引出更多的问题,比如:如果AI导致50%的人类死亡,还算“末日”吗?如果没有人死,但我们全都丢了工作,只能喝西北风呢?到底AI会如何接管世界呢?

但是p(末日)的重点不在于精确。它的目的是表明,在是乌托邦还是反乌托邦的问题上,一个人大致的立场如何,此外也是用模糊的经验论术语传达你在AI问题及其潜在影响上的关切程度。
这个术语似乎是十多年前在网络论坛LessWrong上出现的,那是一个理性主义哲学运动主题论坛。
LessWrong创始人是一位自学成才的AI研究者,名叫埃利泽·尤科夫斯基,他很早就产生了失控AI可能接管一切的想法,并就他设想的多种AI灾难场景撰文。(当时的AI连设置个厨房计时器都很勉强,因此风险显得十分遥远。)
后来成了AI世界最著名末日论者的尤科夫斯基告诉我,p(末日)这个词不是他提出的,不过他做了推广普及。(他还说,如果继续以现在的趋势发展,他的p(末日)是“有多高就多高”。)这个词后来被有效利他主义者们拿去用了,这个群体旨在通过逻辑推论得出有关公序良俗的理念。
我的猜测是,这个词最早是由身在波士顿的蒂姆·泰勒于2009年开始在LessWrong上使用的。泰勒在邮件往来中说到,他用这个词“指代末日出现的概率,同时又不需要详细阐明时间尺度或末日的定义。”
对一些人来说,谈论你的p(末日)无非就是在闲扯。然而在硅谷的一场激烈辩论中,它又成了一个重要的社交信号,辩论的一方认为AI发展过快,另一方认为应该更快。
Box首席执行官勒维属于较乐观的一方。他说他的p(末日)值很低——不是零,但“能多低就多低”——他认为我们能化解AI的巨大风险,避免最糟糕的结果。他担心的不是AI会杀死我们,而是监管者和立法者会利用这些可怕的末日预言,用来理直气壮地打压一个前景远大的年轻行业。
“如果在AI发展中过早开始关键的政策决断,是有可能出现过度干预的,”他说。

分享
© 2024 Times of China. 版权所有。