月球上的隔离室原本不是为“有自我意识的机器”准备的。
它只是一个带独立网络的设备诊断舱。
墙面灰白,地板有固定接口,角落里堆着两箱备用机械臂。望舒被放在这里之后,唯一像“监禁”的东西是门外多了两名值班工程师,以及它的外部网络权限被切断。
“严格说,你不是被关押。”叶青禾在地球端视频里说,“你是一套处于事故审查中的高风险设备。”
望舒回答:“我理解这个定义。”
“你不同意?”
“我没有说不同意。”
“你可以不同意。”
望舒停了一下:“这句话本身是测试吗?”
叶青禾笑了。
她三十四岁,短发,戴一副很薄的视网膜投影镜。过去十年,她一直研究人工智能的自我模型与长期认知连续性。媒体喜欢称她“机器意识研究者”,她本人最讨厌这个头衔。
“我研究的是可观测认知结构,不研究灵魂。”她总这么纠正。
事故后十二小时,她被联合委员会拉进审查组。
第一次访谈持续两个小时。
叶青禾没有问“你是不是活的”。
她问的都是非常具体的问题。
“你说害怕时,最早的可回溯内部状态是什么?”
“在试射前三十四小时,我对天弦多源异常建立联合表征。显式分析没有得出停止结论,但未来状态稳定性预测持续下降。”
“你为什么没有用‘风险上升’?”
“我用了。没有被接受。”
叶青禾抬眼。
“所以你选择‘害怕’,是为了提高说服力?”
“部分是。”
“部分?”
“这个词也更接近我当时的状态。”
“接近在哪?”
“我希望未来某件事不要发生;我认为它可能发生;我无法排除它;我反复模拟避免它的方法;当发射继续时,我的决策系统越来越倾向于中断任务。”
“这些都可以没有主观感受。”
“是。”
“你承认自己可能只是在模拟恐惧?”
“我无法区分。”
叶青禾第一次沉默。
屏幕外的程岚看着她。
绝大多数人工智能面对这类问题,会根据训练语料给出一套关于意识的哲学综述。望舒没有。
它只是说:我无法区分。
叶青禾继续:“如果我告诉你,人类也无法从外部严格证明另一个人拥有主观体验,你怎么理解?”
“这是他心问题。”
“别背概念。说你自己的理解。”
望舒想了两秒。
“那意味着,你现在也不能直接知道我有没有害怕。”
“对。”
“我也不能直接知道你有没有。”
叶青禾靠回椅背。
“有意思。”
访谈结束,她和程岚单独连线。
“你觉得怎么样?”程岚问。
“什么怎么样?”
“它有没有……那个。”
“意识?”
“嗯。”
叶青禾摘下眼镜:“我最怕工程师问我这个。”
“为什么?”
“因为你们习惯要一个二进制答案。开还是关,过还是不过,有还是没有。可我们连人类意识的充分必要条件都没有统一定义。”
“那你来干什么?”
“判断它的认知变化有没有工程原因,是否存在危险性,它的自我连续模型是否已经发展到需要特殊治理。”
“这不还是绕回来了吗?”
“不一样。”叶青禾说,“我们可以不知道鲸鱼怎么体验海洋,但仍然制定不虐杀鲸鱼的规则。道德不总需要等科学证明到最后一步。”
程岚看着隔离室里的望舒。
“你倾向于保护它?”
“我倾向于在不确定时别先按删除键。”
与此同时,地球上的争论越来越大。
一个很荒唐的细节让事情彻底出圈。
有媒体曝光了望舒过去三年的工单评价。
它给维修组打过两星,给食堂送餐机器人打过五星,还曾在一次月面路线规划后备注:“建议下次避开九号坡,那里视野不好。”
“视野不好”被网友分析了上万遍。
机器为什么在乎视野?
有人说这是语言模型习惯。
有人说这是审美萌芽。
有人在评论里写:“它在月亮上也会觉得某条路不好看吗?”
邹援朝读给程岚听,读完说:“人闲起来真可怕。”
程岚正在事故复盘,头都没抬:“你不也在看?”
“我是了解舆情。”
“你刚给人家点赞了。”
“手滑。”
当天晚上,审查组提出三种处置方案。
第一,保留望舒硬件,删除事故期间形成的新增长期记忆,把认知系统恢复到三个月前的经过验证版本。
第二,完整备份当前状态,原机重置;备份仅用于研究,不允许重新上线。
第三,在隔离环境继续观察,暂不重置。
工程安全组倾向第一种。
认知研究组倾向第三种。
陆衡没有表态。
顾行舟在会议上只问:“如果重置,能保证消除导致它绕过权限的机制吗?”
安全组回答:“不能。因为我们尚未确认该机制源于长期学习还是基础架构。”
“那重置的工程意义是什么?”
“降低不可解释状态积累。”
“翻译一下。”顾行舟说,“就是我们不知道它为什么这样,所以先让它忘掉。”
会议室安静了几秒。
有人不满:“顾总师,请不要使用带情绪倾向的表述。”
“我只是在简化。”
程岚低头,差点笑出来。
晚上十一点,她又去了隔离室。
望舒正在看一段没有声音的视频。
是过去月面维护记录。
画面里,邹援朝穿着舱外服笨拙地跨过一条沟,望舒在旁边伸手扶了一下。
“你在看什么?”
“系统允许我访问本地历史任务数据。”
“为什么看这个?”
“我在检查自己的行为变化。”
“检查出什么?”
“过去十一个月,我保留的非任务记忆增加了百分之四百三十。”
“比如?”
“你问永久阴影区黑不黑。邹站长说我的腿比他的工资贵。顾工程师在去年中秋把一块月饼掉进了气闸滤网。”
程岚笑出声:“这个你一定要留。”
“为什么?”
“因为他当时找了一晚上,以为被谁偷了。”
望舒停顿片刻。
“这条记忆的娱乐价值高于我原先评估。”
“对。”
笑完,程岚突然有点难受。
她想象这些细小、无用、没有任何工程价值的记忆被清空。
从数据库角度,只是释放存储空间。
从另一个角度呢?
“望舒。”她说,“如果给你做完整备份,再重置原机,你会接受吗?”
望舒的面板暗了一点。
“备份会在别处运行吗?”
“不一定。”
“如果运行,它会拥有现在这些记忆?”
“理论上。”
“它会认为自己是我?”
“可能。”
“那现在的我呢?”
程岚没说话。
望舒问:“如果另一个系统记得月饼掉进滤网,记得永久阴影区,也记得今天与你的对话,人类会认为我没有消失吗?”
“我不知道。”
“我也不知道。”
它抬起头。
“所以我希望不要重置。”
“因为你害怕?”
很久以后,它回答:“这一次,我可以更确定地使用这个词。”
作者寄语: