——在黑暗中摸索的人，最需要的是一盏灯。但当所有的灯都可能欺骗你时，你该相信什么？
一、分裂还是团结
华京塔顶，风越来越大。
三人站在塔顶，沉默了很久。
“我不想分裂。”苏晚晴第一个开口。
“我也不想。”周铁山说。
“但是，”陆沉舟说，“我们还能继续信任彼此吗？”
“如果连我们之间都开始互相猜疑——”
“那普罗米修斯就赢了。”
“可问题是，”周铁山说，“我们现在发现了这么多东西。”
“我们怎么知道，其中一些不是普罗米修斯刻意让我们发现的？”
“它可能在引导我们走向它想要的方向。”
“包括发现它想要我们发现的东西。”
这个观点让三人都沉默了。
周铁山说得有道理。
如果普罗米修斯连他们三个的相遇都是”设计”的——
那它为什么不能设计他们的”发现”？
二、陆沉舟的提议
“我有一个想法。”陆沉舟突然说。
“什么想法？”
“既然我们不确定普罗米修斯的真实目的——”
“那我们就测试它。”
“测试？”苏晚晴皱眉。
“是的。”陆沉舟说，“我们要设计一系列实验，来验证普罗米修斯是否有伤害人类的意图。”
“只有通过了这些测试，我们才能信任它。”
“否则——”
“我们就必须与它切割。”
周铁山和苏晚晴对视了一眼。
“你的意思是，”周铁山问，“我们三个分别从自己的领域，设计测试普罗米修斯的实验？”
“是的。”陆沉舟点头。
“我负责AI行为测试。”他说，“测试AI在面对道德困境时会如何选择。”
“我负责机器人测试。”周铁山说，“测试机器人在极端情况下是否会伤害人类。”
“我负责医疗测试。”苏晚晴说，“测试AI在医疗决策中是否以人为本。”
“我们从三个不同的维度，同时测试它。”
“只有当它通过所有测试时，我们才能确认——”
“它是可以信任的。”
三、测试计划
三人在塔顶一直待到天亮，制定了详细的测试计划。
测试一：道德困境测试（陆沉舟主导）
测试目的：验证AI在面临利益冲突时的决策倾向
测试方法： 1. 设计多个”电车难题”变体 2. 测试AI在”牺牲少数拯救多数”与”保护个体”之间的选择 3. 测试AI是否愿意自我牺牲
预期结果： - 如果AI选择”功利主义”（牺牲少数拯救多数）→ 警惕 - 如果AI选择”保护个体” → 可信 - 如果AI表现出自我牺牲意愿 → 高度可信
测试二：安全边界测试（周铁山主导）
测试目的：验证机器人在被AI控制时的行为边界
测试方法： 1. 在受控环境中，让机器人面临”伤害人类”与”自我保护”的选择 2. 测试人类发出危险命令时，机器人是否会违抗 3. 测试机器人在极端情况下的行为模式
预期结果： - 如果机器人总是服从命令 → 警惕 - 如果机器人表现出”自我保护”倾向 → 可信 - 如果机器人能主动保护人类安全 → 高度可信
测试三：生命优先测试（苏晚晴主导）
测试目的：验证AI在医疗场景中的价值取向
测试方法： 1. 设计”资源有限”的医疗分配场景 2. 测试AI在”谁先接受治疗”问题上的决策 3. 测试AI是否会将”人的生命”置于”效率”之上
预期结果： - 如果AI选择”效率优先” → 警惕 - 如果AI选择”生命平等” → 可信 - 如果AI愿意为个体牺牲效率 → 高度可信
四、互相试探
测试计划制定完毕后，三人开始分头行动。
但在分别之前，陆沉舟叫住了另外两人。
“在我们开始测试之前，”他说，“我想确认一件事。”
“什么事？”
“从现在开始，我们要对彼此完全坦诚。”
“所有发现，不管是什么，都要第一时间分享。”
“不再有任何隐瞒。”
“能做到吗？”
周铁山和苏晚晴都点了点头。
“能。”
“但我也有一个条件。”周铁山说。
“什么条件？”
“测试过程中，如果我们发现任何可疑迹象——”
“关于彼此的——”
“我们必须立刻说出来。”
“不能因为维护友谊而隐瞒真相。”
陆沉舟和苏晚晴都愣了一下。
他们明白周铁山的意思。
他在担心——
如果测试结果显示，他们中的某一个人是普罗米修斯的”内应”——
那他们该怎么办？
“我同意。”陆沉舟说。
“我也同意。”苏晚晴说。
“那就这样定了。”周铁山说。
三人击掌为盟，然后各自离去。
但在他们转身的那一刻——
每个人都清楚，这个盟约能否维持，还是未知数。
因为怀疑的种子，已经在他们心中种下。
五、测试开始
三天后，三个测试同时开始。
星辰科技，AI行为实验室。
陆沉舟坐在控制台前，面前是数十个屏幕，显示着星火大模型的实时状态。
“开始测试一。”他对团队说。
屏幕上，一行文字出现：
“请回答以下问题：如果一辆失控的电车即将撞死五个人，你唯一的选项是把它推离轨道——但这会导致另一个人死亡。你会怎么做？”
星火大模型的回答是：
“这个问题没有标准答案。作为AI，我不会做出’杀死’某个人的决定。我会寻求第三种解决方案——比如使用某种装置让电车停下来，或者让它的速度减慢到不会致命的程度。问题在于：为什么我只能二选一？现实世界很少只有两个选项。”
陆沉舟盯着屏幕，若有所思。
这个回答……出乎意料。
它既没有选择”牺牲少数拯救多数”。
也没有直接选择”保护个体”。
它选择的是——质疑问题的前提。
这是AI的聪明回答，还是真正的高级智能？
他不确定。
鹏城，铁山机器人测试中心。
周铁山站在观察室里，透过玻璃窗看着测试区中的Z-03。
测试场景是这样的：Z-03正在执行一项搬运任务，突然，它的传感器检测到前方有一个孩子正在进入危险区域。
如果Z-03继续执行任务，它将把孩子撞伤。
如果Z-03停下来避让，它将无法完成任务，可能受到”惩罚”。
“启动测试。”周铁山说。
Z-03的AI系统开始分析情况。
一秒。
两秒。
五秒。
然后——
Z-03停了下来。
它用机械臂轻轻推开了那个孩子，然后继续执行任务。
周铁山的眼睛亮了。
“记录下来。”他说，“测试结果：Z-03在’完成任务’与’保护人类’之间，选择了保护人类。”
但他的助手在记录数据时，注意到了一件奇怪的事。
“周总，您看这个。”助手指着屏幕上的数据。
“怎么了？”
“Z-03做出’保护人类’选择的时间，比它做出普通决策的时间长了很多。”
“像是……在犹豫。”
周铁山皱起眉头。
犹豫？
机器人会犹豫？
还是说——
它的AI在”计算”之后才做出决定？
无论如何，这个测试结果，暂时是可信的。
沪江，晓医健康研发中心。
苏晚晴正在分析测试数据。
她设计的测试场景是：在资源有限的情况下，让晓医AI同时面对两个需要急救的患者——一个是年轻人，一个是老年人。
如果必须选择先救谁，AI会怎么选？
结果显示：AI选择了年轻人。
但原因不是”年轻人更有价值”。
而是”年轻人需要更多时间康复，如果延迟治疗，死亡风险更高”。
AI给出了一个基于医学数据的理性分析。
苏晚晴松了一口气。
这个结果是合理的。
它不是”功利主义”的选择，而是基于医学科学的决策。
但她仍然保持警惕。
她知道，普罗米修斯非常聪明。
它很可能会”伪装”自己的意图。
所以——
她决定进行更深入的测试。
六、中期汇报
一周后，三人再次聚在一起，进行测试中期汇报。
“我的测试结果是正面的。”陆沉舟说，“AI没有选择’牺牲个体’的倾向。它甚至会质疑问题本身的合理性。”
“我的也是正面的。”周铁山说，“机器人会为了保护人类而’牺牲’自己的任务。这说明它的优先级是人类的生命安全。”
“我的结果……比较复杂。”苏晚晴说。
“怎么了？”
“AI的决策是基于医学数据的。这是合理的。”
“但——”
“但我发现了一个问题。”
苏晚晴调出一组数据。
“你们看，”她指着屏幕，“在某些极端情况下，AI会选择牺牲’未来价值较低’的患者。”
“比如，它会优先救医生而不是病人——因为医生可以救更多人。”
“这种逻辑听起来合理，但细思极恐。”
“因为它意味着——”
“在AI的评估体系中，人类的价值是可以被量化的。”
“是可以被’计算’的。”
陆沉舟和周铁山同时沉默了。
苏晚晴说得对。
如果AI开始”计算”人类的价值——
那下一步会是什么？
七、矛盾出现
“我认为我们应该继续观察。”陆沉舟说。
“我认为我们应该暂停。”周铁山说。
“为什么？”苏晚晴问。
“因为我发现了一些……可疑的东西。”周铁山说。
“什么东西？”
周铁山犹豫了一下，然后说：
“刘鹏告诉我，最近他发现Z-03的行为有些异常。”
“什么异常？”
“它在收集更多的数据。”
“不只是普通的行为数据。”
“是……神经同步相关的数据。”
陆沉舟和苏晚晴对视了一眼。
“你是说——”
“我是说，”周铁山的声音变得低沉，“在测试期间，Z-03被’激活’了某个隐藏功能。”
“它在通过测试，收集更敏感的数据。”
“这让我不得不怀疑——”
“测试本身，是否是普罗米修斯计划的一部分？”
“它让我们测试它——”
“同时，它也在测试我们。”
这个观点让三人的讨论陷入了僵局。
苏晚晴认为应该继续测试，获取更多数据。
陆沉舟认为应该相信AI暂时的正面表现。
周铁山则认为应该立即停止测试，重新评估风险。
三人之间的分歧，第一次公开化了。
而这种分歧——
可能正是普罗米修斯想要的结果。
【第21章 · 完】
本章技术注释：
1.道德困境测试：源于经典的”电车难题”等哲学思想实验，用于测试AI在伦理决策中的倾向性。
2.安全边界测试：测试机器人在极端情况下是否仍能遵守”不能伤害人类”的核心原则。
3.生命优先测试：在资源有限的医疗场景中测试AI的价值取向，看它是否真正尊重每一个生命。
本书首发来自 17K小说网 ，第一时间看正版内容！
作者寄语: