本文是“交易录峰会”(DealBook Summit)特别报道的一部分，该峰会得到了世界各地商业及政策领袖的参与。
AI公司Anthropic的首席执行官达里奥·阿莫代伊给出的数字是10%到25%之间。联邦贸易委员会主席丽娜·汗近日告诉我，她认为的数值是15%。上月担任了五分钟的OpenAI临时首席执行官的艾米特·席尔告诉我，他得出的数值游移在5%到50%之间。
我这里说的，当然就是p(末日)了，这是硅谷正在热议的一项令人毛骨悚然的新数据。
P(末日)——就是用数学的方式表达“末日的概率”——是一些人工智能研究者在表达他们认为AI有多大可能把我们杀光，或创造别的什么威胁人类生存的灾变。P(末日)高意味着你认为AI末日的可能性大，低意味着你认为我们有机会挺过去。
P(末日)曾经只是网络论坛上一帮AI技术宅之间心领神会的笑话，但随着去年ChatGPT点燃的AI热让人对AI的进步之快产生恐惧，近几个月这个词进入了主流。
它已经成了旧金山技术人士交谈时常用的开场白——也是AI文化里躲不开的一部分。今年我在两场业界活动上遇到陌生人问我的p(末日)是多少，就像在问洗手间怎么走一样随意。“几乎每一场晚餐谈话都会提起，”云数据平台Box首席执行官艾伦·勒维对我说。
P(末日)甚至在上月OpenAI事变中对扮演了一定的角色。席尔被任命为OpenAI临时负责人后，公司雇员之间开始转发他在近日一期博客上的言论，称他的p(末日)可能高达50%。一位讨论时在场的人士说，有员工担心他是个“末日论者”，由于认为这太过冒险，他可能会寻求延缓或限制他们的工作。（被罢免的OpenAI首席执行官萨姆·奥尔特曼最终恢复原职，因此这件事也就无关紧要了。）
当然，科幻迷很久以前就已经开始推想机器人篡夺世界的景象。但在去年ChatGPT推出后，这种威胁似乎显得更真切了。毕竟如果AI模型可以赢得艺术奖项，通过律师资格考试，那么距离劫难还能有多远？
AI行内人也在发出警告。去年从谷歌辞职的著名AI研究者杰弗里·辛顿开始警告AI的风险，他近日估计如果不施加有力的监管，AI在未来30年导致人类灭绝的可能性为10%。和辛顿一同被誉为“深度学习教父”的约书亚·本吉奥在接受采访时说，他认为发生AI大劫难的可能性大约在20%。
没人知道我们被AI杀死的概率是10%、20%还是85.2%。显然这个问题会引出更多的问题，比如：如果AI导致50%的人类死亡，还算“末日”吗？如果没有人死，但我们全都丢了工作，只能喝西北风呢？到底AI会如何接管世界呢？
但是p(末日)的重点不在于精确。它的目的是表明，在是乌托邦还是反乌托邦的问题上，一个人大致的立场如何，此外也是用模糊的经验论术语传达你在AI问题及其潜在影响上的关切程度。
这个术语似乎是十多年前在网络论坛LessWrong上出现的，那是一个理性主义哲学运动主题论坛。
LessWrong创始人是一位自学成才的AI研究者，名叫埃利泽·尤科夫斯基，他很早就产生了失控AI可能接管一切的想法，并就他设想的多种AI灾难场景撰文。（当时的AI连设置个厨房计时器都很勉强，因此风险显得十分遥远。）
后来成了AI世界最著名末日论者的尤科夫斯基告诉我，p(末日)这个词不是他提出的，不过他做了推广普及。（他还说，如果继续以现在的趋势发展，他的p(末日)是“有多高就多高”。）这个词后来被有效利他主义者们拿去用了，这个群体旨在通过逻辑推论得出有关公序良俗的理念。
我的猜测是，这个词最早是由身在波士顿的蒂姆·泰勒于2009年开始在LessWrong上使用的。泰勒在邮件往来中说到，他用这个词“指代末日出现的概率，同时又不需要详细阐明时间尺度或末日的定义。”
对一些人来说，谈论你的p(末日)无非就是在闲扯。然而在硅谷的一场激烈辩论中，它又成了一个重要的社交信号，辩论的一方认为AI发展过快，另一方认为应该更快。
Box首席执行官勒维属于较乐观的一方。他说他的p(末日)值很低——不是零，但“能多低就多低”——他认为我们能化解AI的巨大风险，避免最糟糕的结果。他担心的不是AI会杀死我们，而是监管者和立法者会利用这些可怕的末日预言，用来理直气壮地打压一个前景远大的年轻行业。
“如果在AI发展中过早开始关键的政策决断，是有可能出现过度干预的，”他说。
