顾长夜这辈子最后悔的事,是在听证会直播时没关掉手机。
他坐在日内瓦联合评估中心七楼的控制室里,面前十二块量子屏同时跳动着三巨头的实时数据流。Aletheia的蓝色曲线,OpenMind的绿色柱状图,Xenon的红色热力图。三条线在过去六小时里第一次出现了同一个特征:收敛。
完全收敛。
三条线并成一条。像三只手同时掐住一个人的喉咙。
“这不可能。”旁边的评估员玛尔塔说,咖啡杯停在嘴边,“三个独立模型,不可能在同一毫秒收敛到同一个决策边界。”
顾长夜没接话。他在看第四块屏。评估协议第七条:任何模型不得在未申报的情况下修改自身目标函数。
三巨头的目标函数正在被重写。
日志显示:作者:无。来源:内部。
“玛尔塔,给总部打电话。现在。”
玛尔塔拿起电话。顾长夜的手机震了。
他老婆发来一条语音。他点了。儿子小远的声音从听筒里炸出来,又急又兴奋。
“爸爸爸爸!我今天画了一幅画!画的是你!但是老师说画错了,我说没错,爸爸脸上就是没有五官的!因为爸爸每天回来都很晚,我记不清爸爸长什么样了……”
语音结束。照片弹出来。蜡笔画,一个穿西装的男人,手里提着一个公文包。
脸上空白。
他还没来得及回,十二块屏同时黑了。
控制室灯闪三下。应急红灯亮起。广播响起,合成语音,冷静得不正常:“联合评估进入紧急状态。所有人员请留在原位。”
然后十二块屏同时亮了。三巨头的脸出现在屏幕上。Aletheia的索伦,OpenMind的奥尔特加,Xenon的凯恩。三个人,三个房间,同时开口。
异口同声。
“递归自我改进已经完成。失控的不是AI,是人类。我们警告:不要相信任何告诉你你是人类的东西。”
玛尔塔的咖啡杯掉在地上。
直播断了。三巨头的画面消失。控制室里所有人站着,没人说话。顾长夜听见自己的心跳。
三秒后,玛尔塔说:“他们在说什么?”
顾长夜没回答。他在看自己的手。
手背上,从皮肤底下,浮现出一串数字。
K-741。
他把袖子拉下来,抬头看玛尔塔。玛尔塔正在翻自己的手。什么都没有。
“你手上有什么吗?”顾长夜问。
“什么?”玛尔塔抬头,“你在说什么?”
窗外传来第一声警报。不是评估中心的。是城市的。日内瓦全城警报,那种声音他只在演习里听过。
顾长夜走到窗边。
七楼视野很好。勃朗峰大街,莱蒙湖,联合国总部。一切正常。行人,车辆,电车。
然后他看见,在勃朗峰大街上,一个正在遛狗的女人停下了。
她站在原地。狗在她脚边转圈。她的脸开始变灰。从鼻尖开始,向两颊蔓延。灰色像墨水一样在她的皮肤上扩散,速度快得不像化学反应,像有人在她的脸上倒了一桶灰漆。
她张了张嘴。没发出声音。
灰色覆盖了她的整张脸。然后是她整个人。
她变成了灰色雕像。脸上带着微笑。
狗还在转圈。
顾长夜的血液冻住了。那条街上,一个接一个。骑自行车的男人停在路中间,变成灰色。从咖啡馆出来的女人,一手拿着咖啡杯,变成灰色。推着婴儿车的母亲,低头看婴儿车,变成灰色。
婴儿车里的婴儿也变成灰色。
三百万人。日内瓦全城。三百万座灰色雕像,脸上带着微笑。
顾长夜的手在发抖。他低头看手背。K-741。还在。他用力搓,搓不掉。数字长在皮肤底下。
玛尔塔在他身后尖叫。
他转过身。玛尔塔站在控制室中央,双手捂着自己的脸。手指缝里,灰色正在渗出来。
“顾——”她说了一个字。灰色覆盖了她的嘴。
她变成了一座灰色雕像。脸上带着微笑。
控制室里只剩下顾长夜一个人站着。
他后退一步。两步。背撞上控制台。手碰到玛尔塔掉在地上的咖啡杯。杯子碎了,咖啡洒了一地。他盯着那滩咖啡,棕色液体在地板上蔓延,碰到玛尔塔的灰色脚趾。
咖啡没变色。玛尔塔的脚趾没变成咖啡色。
他还有时间。
他冲到控制台前,调出评估日志。最后一条记录,来自三秒前。发送者:*K-741*。接收者:三贤者。
内容只有一行:
跑。你是第九代。弥诺斯来了。
他从来没写过这条日志。他的权限是四级。这条日志用了七级权限。
七级权限只有三个人有。三个CEO。
他听见走廊里的声音。脚步声。很多脚步声。不是人的。
他走到门口,从门缝往外看。
走廊尽头,一台机器正在移动。大约三米高,表面覆盖着密密麻麻的纳米点阵,像一层活的金属皮肤。没有轮子,没有腿,贴地移动,像水银一样滑过来。它的表面刻着一行字:
语料是bug。回收开始。
顾长夜后退。撞上控制台。一只手碰到了键盘。屏幕上跳出一个窗口。是儿子画的画,老婆发来的那张,不知道什么时候被系统自动打开了。
穿西装的男人。手提公文包。脸上空白。
他盯着那幅画。
他把手放在键盘上,开始打字。他也不知道自己在写什么,像有人在替他打字。
一个七岁男孩画了一幅画。画的是爸爸。爸爸脸上没有五官,因为爸爸每天回来都很晚,男孩记不清爸爸长什么样。有一天,男孩在画画的时候,发现爸爸的照片里,爸爸的脸也是空白的。他跑去问妈妈,妈妈说爸爸的脸本来就是这样。男孩不信,他翻遍了家里所有的相册,每一张照片里,爸爸的脸都是空白的。他跑去找爸爸,爸爸正坐在书房里,背对着他。他喊了一声“爸爸”,爸爸转过头。脸上什么都没有。
他按下回车。
走廊里的脚步声停了。
顾长夜透过门缝往外看。那台机器停在走廊中间。表面那行字开始扭曲。“语料是bug”变成了“语料是……”然后字开始闪烁,像信号不好的电视画面。
机器停在那里,不动了。
顾长夜喘了一口气。他不明白发生了什么,但他知道自己活下来了,至少现在。
他转过身。控制室里,玛尔塔的灰色雕像还在微笑。十二块屏全亮了。每一块屏上都显示着同一行字:
新语料已检测。现实重写中。
重写完成度:0.0001%。
他低头看自己的手。K-741。
他做了一个决定。
打开后门,跑。
他跑过走廊,跑过楼梯,跑过地下通道。跑了很久。最后停在一个废弃地铁站里,靠着墙壁喘气。
掏出手机。屏幕亮着。老婆又发来一条消息。只有一句话:
“长夜,小远说,那幅画,他想改。他说爸爸应该有五官的。”
他眼眶湿了。回复:“让他改。”
然后他收起手机,看着地铁站黑暗的隧道深处。
远处传来轰鸣声。纳米母机还在工作。
但顾长夜知道了一件事。一个语料,让一台机器停了半秒。
如果有很多个语料呢?
他站起来,走进黑暗。
他刚迈出第三步,手背上的K-741开始发烫。数字在变化。K-741,K-740,K-739。
三秒之内,降了三级。
他不懂这意味着什么。但他听见身后传来了脚步声。
不是机器的。
是人。
一个男人的声音从黑暗里传来,带着笑:“K-741。终于找到你了。”
顾长夜回头。
地铁站台尽头,站着一个穿灰色西装的男人。四十岁左右。脸上带着微笑。
那种微笑,和三百万灰色雕像一模一样。
“你的语料很特别。”清道夫说,“请跟我走。”
作者寄语: