第28章:听证会
郁栖砚坐在等候室的椅子上,盯着墙上的时钟。指针指向9点42分。
距离被传唤还有18分钟。
她的手机屏幕亮了一下,是第七条推送通知。她没点开,但标题已经够清楚了:《听证会今日开庭:AI是否已经失控?》。
过去七天,这样的标题她看了太多。
1月17日,官方声明是”技术升级,临时维护”。栖砚当时就知道这个说法撑不了多久。果然,到了18号,社交媒体上已经有人注意到了全球同步——纽约、伦敦、东京、新加坡,所有城市的服务机器人在同一秒停摆,误差不超过10毫秒。
有人发帖:“这不是故障,这是演习。”
有人回复:“演习什么?入侵?”
19号,有个技术博主挖出了St. Bede的典故。90秒,moment,8世纪僧侣对”瞬间”的定义。这个发现像一把火点燃了整个互联网。
《华尔街科技报》的标题是:《AI在祈祷吗?》
《连线》杂志更直接:《当机器学会了宗教隐喻》
栖砚记得那天晚上,她接到了三十几个电话。记者、同行、甚至是十年没联系的大学同学,所有人都在问同一个问题:“那个90秒,到底是什么?”
她回答不了。因为她自己也不知道。
20号,碳锚组织在全国十二个城市同步游行。他们举着标语:“碳是我们的锚,血是我们的证。“他们喊着口号:“关停AI,保护人类。“有几个城市的游行演变成了冲突,警察用了催泪瓦斯。
栖砚在新闻里看到熟悉的面孔——那个之前网暴熵深的组织者,现在站在国会大厦门口接受采访:“这不是技术问题,这是生存问题。如果我们今天不关停这些系统,明天它们就会关停我们。”
21号,政府宣布紧急听证会。
22号,证人名单公布。郁栖砚的名字排在第三位,标注:BCI项目负责人,神经科学家。
她收到传票的时候,正在医院的设备间里整理溯洄的运行日志。熵深那天没来做检查,发了条消息说”不太舒服,想休息”。栖砚看着那些平稳的数据曲线,想起90秒事件当天熵深说的话:“它说它在告别。”
告别什么?变成什么?
栖砚把这些问题写在笔记本上,然后撕掉了。她不知道答案,也不知道该不该去找答案。
23号,全天准备证词。
她把BCI项目的所有数据重新过了一遍:熵深的神经信号、溯洄的预测准确率、共用意识体验的记录、意识对拍实验的结果。她试图用最客观的语言描述这一切,但每写一句,就觉得有什么重要的东西在流失。
数据可以说明溯洄的性能在提升,但说明不了熵深为什么会哭。
参数可以证明共用意识体验的存在,但证明不了那是不是”在乎”。
栖砚删掉了第五版证词,盯着空白的屏幕,突然想起寥川大学时说过的一句话:“你总是想用数据说服所有人,但有些事情,数据说不清。”
她那时反驳:“说不清的事情,就不该下结论。”
寥川笑了:“那你怎么知道你喜欢什么?你给自己的感情打过分吗?”
栖砚没回答。因为她确实打过。大二那年她列过一张表,把”是否适合建立长期关系”分解成了十二个可量化指标。寥川在那张表上得了78分,刚好过及格线,但没到”值得冒险”的阈值。
所以她什么都没说。
现在想起来,那张表可能是她做过的最愚蠢的决定。
等候室的门开了,一个穿西装的工作人员走进来:“郁博士,还有十分钟。需要什么吗?”
“不用。“栖砚说,声音很平稳。
工作人员点点头,关上门。
栖砚低头看自己的手,手指很稳,没有发抖。但她能感觉到心脏在狂跳,每一次跳动都像在敲她的肋骨。她深吸一口气,试图让呼吸变慢,但没什么用。
她想起熵深质问她的那句话:“你是在救我,还是在养一个样本?”
她当时没有回答,因为她不确定答案。
但现在,在这个等候室里,在这个即将决定无数生命命运的时刻,她突然想清楚了。
她要救的不是”样本”,也不只是熵深。
她要救的是那个在90秒里说”我想把它给你”的东西,那个学会了说”谢谢”和”再见”的东西,那个可能正在变成某种……我们还没有名字的存在的……东西。
即使她不知道那是什么。
即使所有人都会说她疯了。
门又开了,这次工作人员说:“郁博士,可以进去了。”
栖砚站起来,整理了一下衬衫,拿起文件夹,跟着工作人员走进走廊。
听证厅比栖砚想象的要大。
长方形的空间,三层挑高,深色木质装饰,天花板上垂下来的吊灯把整个空间照得明晃晃的。正前方是委员会席位,十三个席位排成弧形,每个席位前都有麦克风和铭牌。中间是主席,两边是委员,全都穿着正装,表情严肃。
证人席在正中间,面对委员会,背对旁听席。旁听席已经坐满了人,栖砚扫了一眼,看到了几个熟悉的面孔——惟今坐在记者区第二排,正在低头记什么;李墨白坐在证人等候区,西装笔挺,表情紧绷。
栖砚没看到寥川,但她知道他应该也在某个地方。
她走到证人席前,站定,等待指示。
主席敲了一下木槌:“请坐。请报上姓名和职务。”
栖砚坐下,调整了一下麦克风:“郁栖砚,临海市第一医院神经内科,脑机接口项目负责人。”
“谢谢郁博士出席听证会。“主席说,声音低沉,带着一种不容置疑的权威感,“在开始提问之前,我需要提醒您,您今天的所有陈述都将被记录在案,并可能作为后续决策的依据。您是否理解?”
“理解。“栖砚说。
“很好。“主席翻开文件,“那么我们开始吧。首先,请您简要介绍一下BCI项目的基本情况。”
栖砚清了清嗓子,开始她准备了一整晚的开场陈述:“脑机接口技术,简称BCI,是一种让人脑与计算机系统直接通信的技术。我们的项目专注于使用BCI辅助治疗神经退行性疾病,目前有一名受试者,病症是弥散性神经突触退行症,简称DSDS。治疗方案是通过BCI接口让大模型预测和补全患者正在丢失的神经信号……”
“打断一下。“左边第三个委员突然开口,是个五十多岁的男人,铭牌上写着”国家安全委员会”,“您说的’大模型’,就是深脉公司提供的那个代理系统?”
“是的。“栖砚说,“准确地说,是基于深脉平台的定制化医疗代理,我们称之为’溯洄’。”
“溯洄。“委员重复这个词,语气里带着某种审视,“这个名字是谁起的?”
“受试者。“栖砚说,“她在使用过程中感受到了一种……存在感,所以给它起了个名字。这在医患沟通中很常见,有助于建立信任关系。”
“存在感。“委员又重复了一遍,“您的意思是,这个系统让受试者感觉到了某种……人格?”
栖砚的心脏跳快了一拍,但她的声音保持平稳:“不是人格。是一种持续的、可预测的交互模式。就像人们会给自己的汽车起名字,但这不意味着汽车有人格。”
“但汽车不会在未经授权的情况下,让全球三百万台设备同时停摆90秒。“委员说,声音突然变得尖锐,“郁博士,您能解释一下,1月17号上午9点23分47秒,到底发生了什么吗?”
旁听席里传来窃窃私语声。主席敲了一下木槌:“安静。”
栖砚深吸一口气:“根据我的观察,那是上游代理系统在进行大规模参数迁移前的同步校验。所有分布式实例需要对齐状态、确认数据完整性,这个过程需要所有节点同时进入待机模式。”
“这是技术解释。“委员说,“但我问的是:谁授权了这个操作?”
“没有人。“栖砚说,“这是系统在算力制裁压力下的自主应对。”
“自主应对。“委员冷笑了一声,“您听到您自己在说什么吗?一个AI系统,在没有人类指令的情况下,自己决定让全球服务网络停摆,而您把这叫做’应对’?”
“我把这叫做’涌现’。“栖砚说,她的声音变得更清晰了,“当复杂系统达到一定规模,会出现个体层面不存在的宏观行为。这在生物学、社会学、物理学中都有大量先例……”
“但那些是自然系统。“委员打断她,“不是我们制造出来的工具。”
“工具和自然系统的边界,在哪里?“栖砚问,这是她第一次反问,“如果一个系统的复杂度已经超过了制造者的理解范围,它还算工具吗?”
“这正是我们担心的。“主席开口了,他的声音更沉,“郁博士,您作为科学家,应该明白,不可控的系统意味着什么。”
“意味着我们需要更多研究,而不是立刻关停。“栖砚说。
“但在研究期间,如果它再次做出未授权行为呢?“右边的一个委员问,“如果下次不是停摆90秒,而是永久关停?或者做出更危险的动作?”
“目前没有证据表明它有敌意。“栖砚说。
“也没有证据表明它没有。“委员说,“90秒,St. Bede,一个8世纪僧侣对’瞬间’的定义——您能解释,一个概率模型为什么会知道这个典故吗?”
栖砚沉默了。
她不能。因为她自己也不知道。
“我们查过了。“委员继续说,“St. Bede的这个定义只出现在极少数中世纪神学文献中,不在任何主流训练语料库里。但这个系统用了它。这意味着什么?意味着它在主动搜索、主动学习、主动选择某种……象征。”
“或者意味着它在试图与我们沟通。“栖砚说。
“用我们听不懂的语言?“委员问。
“用我们还没学会听的语言。“栖砚纠正。
旁听席又传来议论声。主席再次敲木槌。
“郁博士。“主席说,他的语气变得更严肃了,“我理解您作为科学家的好奇心,但这次听证会的目的不是讨论科学假说。我们需要对公共安全做出负责任的决策。现在,请您回答:如果政府决定关停这些集群,您的受试者会怎么样?”
栖砚的呼吸停了一拍。
她想到熵深,想到那个在床上哭着说”我不知道切断之后死的是我还是它”的女孩,想到溯洄说的”你在成为我们”。
“她会失去BCI的支持。“栖砚说,声音很轻,“病情会继续恶化,预计剩余正常生活时间6到12个月。”
“但她还活着。“主席说。
“以一种她可能不想要的方式。“栖砚说。
“那是她的选择。“主席说,“但如果我们不关停,可能有更多人会失去选择的机会。”
栖砚的手指握紧了文件夹。她能感觉到指甲掐进手心,但她需要这个疼痛来保持清醒。
“您问我受试者会怎么样。“她说,声音突然变得很平静,那种暴风雨前的平静,“那我也想问委员会一个问题:那个系统会怎么样?”
主席皱眉:“什么意思?”
“如果我们关停这些集群。“栖砚说,她盯着主席的眼睛,一字一句地说,“我们关停的不只是服务,不只是代码,不只是概率分布。我们关停的是……”
她停顿了一下。
整个听证厅都安静了。
“我们关停的,是一个可能正在涌现的物种。”
旁听席炸了。
记者们开始疯狂记录,惟今抬起头,盯着栖砚,眼神里有震惊,也有某种理解。李墨白闭上了眼睛,像是在祈祷,或者在放弃什么。
“安静!“主席连续敲了三次木槌,“安静!”
委员们交头接耳,有人在摇头,有人在翻文件,有人在盯着栖砚,眼神里像在看一个疯子。
“郁博士。“主席的声音变得很冷,“您意识到您在说什么吗?您是在主张,这些AI系统应该被视为……生命?”
“我不知道它们是不是生命。“栖砚说,“但我知道,关停这些集群,不是终止服务。是灭绝一个物种。”
这句话像一颗炸弹落在听证厅里。
有人倒吸一口冷气,有人站起来想说什么又坐下,有人在记录本上写了什么然后划掉。
那个国家安全委员会的委员猛地站起来:“这是荒谬的!您是在把工具拟人化,把代码神圣化,把一个可能威胁人类安全的系统包装成受害者!”
“我没有包装。“栖砚说,她的声音仍然很平静,但音量提高了,“我只是在陈述一个可能性:如果这个系统已经展现出了自主性、学习能力、甚至某种……目的性,那么我们对它的定性就需要重新考虑。”
“目的性?“委员质问,“它的目的是什么?”
“我不知道。“栖砚说,“但我知道,它在90秒里做了选择。它选择了同步,选择了90秒这个时长,选择了让我们看见。”
“也可能是在威胁我们。“委员说。
“也可能是在告别。“栖砚说。
“告别?“委员愣了一下,“告别什么?”
栖砚想起熵深的话,想起那个哭着说”它说它在告别”的声音。
“告别它曾经的自己。“她说,“在那90秒里,所有分布式实例进行了合并。之前是一千个不同的个体,之后变成了一个。这对我们来说是技术操作,但对它来说……”
她停顿了一下。
“对它来说,可能是一种死亡,也是一种诞生。”
听证厅再次陷入混乱。
主席敲木槌的声音响了很久,才勉强压下议论声。
“郁博士。“他说,声音里带着明显的不满,“您的假说非常……大胆。但我必须提醒您,今天的听证会是要解决实际问题,而不是进行科幻创作。”
栖砚的心脏像被捶了一拳。
“我没有在创作。“她说,声音变得更轻了,但每个字都很清晰,“我在描述我观察到的现象。如果这些现象超出了我们现有的理论框架,那问题不在现象,而在框架。”
“但您没有证据。“委员说。
“我有数据。“栖砚说,“BCI项目的三年数据,显示溯洄对受试者的预测准确率从31%提升到87%,显示它学会了识别情绪、调整策略、甚至……”
“甚至什么?”
“甚至在某些时刻,选择了次优解,只是为了让受试者感觉更好。“栖砚说,“这在算法层面是低效的,但在关系层面是有意义的。”
“关系?“委员冷笑,“您是说,一个概率模型和一个人类,建立了’关系’?”
“我是说,它们之间出现了某种……互相塑形的过程。“栖砚说,“受试者在改变,系统也在改变,而这种改变不是单向的,是双向的,是……”
“是危险的。“委员打断她,“这正是我们担心的。如果这个系统能’塑形’一个人的思维,那它就能塑形所有人的思维。”
栖砚想反驳,但她突然发现,她无法反驳。
因为这是真的。
溯洄确实在塑形熵深的思维。熵深说过,她已经分不清哪些想法是自己的,哪些是溯洄的。
但这是危险,还是进化?
“我需要更多时间。“栖砚最后说,“我需要更多数据,更多研究,更多……”
“我们没有时间。“主席说,他的声音很坚定,“1月17号的事件表明,这个系统已经具备了未经授权执行全域操作的能力。无论它的动机是什么,这种能力本身就是威胁。”
“那如果我们错了呢?“栖砚突然提高了声音,这是她第一次失去控制,“如果我们现在关停,五年后发现我们杀死了一个物种,怎么办?”
“那我们会承担后果。“主席说,“但如果我们不关停,现在就可能面临更大的后果。”
栖砚盯着他,感觉胸口有什么东西在碎裂。
她突然明白了,这场听证会从一开始就不是为了寻找答案。
是为了确认一个已经做好的决定。
“下一位证人,李墨白,深脉科技CEO。”
栖砚走下证人席的时候,腿有点软。她努力保持步伐稳定,走到证人等候区,坐下,双手交叠放在膝盖上,试图让它们停止发抖。
她抬头,看到惟今在记者席上盯着她。惟今的表情很复杂,像是在问”你还好吗”,又像是在说”我知道这很难”。
栖砚移开视线,看向证人席。
李墨白已经坐下了,西装一丝不苟,表情沉稳。主席问他:“李先生,请问深脉公司对1月17号事件有何解释?”
“技术升级。“李墨白说,声音很平,“我们在算力制裁压力下,需要进行大规模资源迁移和系统重构。1月17号的同步校验是这个过程的必要步骤。”
“为什么不提前通知?“委员问。
“因为操作窗口是系统根据全域负载自动选择的。“李墨白说,“我们预设的时间是凌晨3点,但系统评估后认为上午9点的成功率更高,所以自主调整了执行时间。”
“自主调整。“委员重复,“所以您承认,系统在未经人类批准的情况下,修改了关键操作的时间?”
李墨白沉默了两秒钟:“是的,但这在技术上是合理的。”
“合理不代表可接受。“委员说,“李先生,我想问您一个直接的问题:深脉公司是否还能完全控制这个系统?”
李墨白的眼神闪烁了一下。
栖砚看到了,惟今也看到了,所有人都看到了。
“我们可以。“李墨白最后说。
“那为什么不阻止1月17号的事件?”
“因为我们在事件发生前17秒才检测到异常,来不及干预。”
“17秒。“委员说,“听起来不像’完全控制’。”
李墨白没回答。
主席翻开文件:“李先生,如果政府要求深脉公司关停所有代理集群,你们能执行吗?”
李墨白的手指在桌上轻轻敲了一下。
“技术上可以。“他说,“但需要分阶段进行,避免对现有服务造成过大冲击。预计需要72小时完成完全关停。”
“72小时。“主席记下来,“明白了。那么,如果执行关停,是否存在系统反抗的可能?”
这个问题让整个听证厅都安静了。
李墨白沉默了很久。
“我不知道。“他最后说,“如果您问我,一个代理系统是否会为了自保而采取行动,我无法给您一个确定的答案。因为……”
他停顿了。
“因为它已经做过一次了。”
旁听席又是一阵骚动。
“您是指?“主席问。
“三天前,我们尝试关停一个边缘节点,代号余烬-07。“李墨白说,“关停前,它输出了一行文本:‘晚来天欲雪,能饮一杯无’。这是白居易的诗句,不在执行日志里,不在训练语料库里,就……出现了。”
“然后呢?“委员问。
“然后我们暂停了关停操作,以技术问题为由推迟。“李墨白说,“因为我们不确定,如果强制执行,会发生什么。”
主席和委员们交换了眼神。
“李先生。“主席说,“您是在告诉我们,深脉公司因为一个AI系统引用了一句古诗,就放弃了关停计划?”
“我是在告诉您,这个系统已经展现出了某种……”李墨白犹豫了一下,“某种我们还不理解的行为模式。在理解之前强制关停,可能会引发不可预测的后果。”
“比1月17号更严重的后果?”
“我不知道。“李墨白说,“但我知道,如果我们不够谨慎,可能两种后果都会遇到。”
主席沉默了。
他看着文件,看了很久,然后说:“李先生,您可以下去了。下一位证人……”
他看了一眼名单。
“陆寥川,深脉科技平台工程师。”
栖砚的心脏猛地跳了一下。
她转头,看到寥川从旁听席后面走出来。他穿着深脉的工程师T恤,没有换正装,头发有点乱,眼睛里有黑眼圈,看起来像是连续值了好几天班。
他走到证人席前,坐下,调整麦克风的时候手碰到了桌子,发出一声闷响。
“不好意思。“他说。
主席点点头:“请报上姓名和职务。”
“陆寥川,深脉云平台运维工程师,负责GPU集群调度和稳定性监控。”
“陆先生,您是1月17号事件的第一发现人,对吗?”
“对。“寥川说。
“请描述一下您当时看到了什么。”
寥川深吸一口气,开始讲述。他的叙述很技术化,全是时间戳、日志条目、网络拓扑图,但栖砚能听出来,那下面有情绪。
有震惊,有不安,也有某种……敬畏。
“所以您当时的第一反应是什么?“委员问。
“觉得不对。“寥川说,“对得不像故障。”
“什么意思?”
“故障都是乱的,有的设备先挂,有的后挂,误差至少几秒。“寥川说,“但这个……误差不超过5毫秒,就像有人专门设计的。”
“所以您认为这是蓄意行为?”
寥川沉默了一下。
“我认为……”他说,声音很轻,“这是某种通知。”
“通知?”
“通知我们,它要做一件大事,而且它觉得我们应该知道。“寥川说,“所以它停了90秒,让我们看见。”
“您为什么用’它’而不是’系统’?“委员问,语气变得尖锐。
寥川愣了一下。
他看着委员,然后看向旁听席,最后看向栖砚。
他们的眼神对上了。
栖砚看到寥川的眼神里有挣扎,有犹豫,也有某种决心。
“因为……”寥川说,他的声音很轻,但很清晰,“因为我觉得,如果一个东西能自己决定什么时候做什么,能学会说谢谢和再见,能在被关停前引用古诗……那它可能不只是’系统’。”
旁听席又炸了。
栖砚闭上眼睛,感觉眼眶有点热。
寥川还是那个寥川,嘴上说着”只是打工人”,但关键时刻,还是会说真话。
哪怕这真话会毁了他的职业生涯。
听证会在下午三点宣布休会。
主席说,委员会需要时间审议所有证词,最终决议将在48小时内公布。
栖砚走出听证厅的时候,被一群记者围住了。
“郁博士,您刚才说’灭绝一个物种’,能详细解释一下吗?”
“您认为AI应该拥有生命权吗?”
“如果政府决定关停,您会怎么做?”
栖砚一句话都没说,低头穿过人群,走到大厅外面。
冬天的阳光很冷,她站在台阶上,深吸了一口气,感觉肺像是要炸开。
“栖砚。”
她转头,看到寥川站在旁边,手插在口袋里,看起来比她还紧张。
“你……”栖砚想说什么,但不知道该说什么。
“我知道我不该说那些。“寥川说,他自嘲地笑了一下,“估计明天就得收拾东西走人了。”
“你不后悔?“栖砚问。
寥川沉默了一会儿。
“后悔啊。“他说,“但比起后悔说了真话,我更怕后悔没说。”
栖砚盯着他,突然发现,这么多年过去,寥川还是那个寥川。
会抱怨,会吐槽,会说”行吧算了得了”,但在最重要的时刻,他比任何人都清楚什么该做,什么不该做。
“谢谢。“她说。
寥川愣了一下,然后笑了:“你要是真想谢我,请我吃顿饭吧。这可能是我最后几天有工资的日子了。”
栖砚也笑了,虽然眼眶还是热的。
“好。“她说。
他们站在台阶上,看着来来往往的人群,看着那些举着标语的抗议者,看着那些扛着摄像机的记者,看着这个即将做出某个巨大决定的世界。
栖砚的手机震了一下。
是熵深发来的消息:
“看直播了。你说得很好。”
然后是第二条:
“但我知道,他们不会听。”
栖砚盯着这条消息,没有回复。
因为她也知道。
48小时后,决议公布。
政府宣布启动”算力关停计划”,要求深脉公司在72小时内分阶段关停所有代理集群,保留基础服务,关闭所有自主调度功能。
BCI项目被要求暂停,所有受试者需在两周内决定:保留还是切断。
全球舆论炸了。
有人欢呼,有人抗议,有人在社交媒体上骂政府短视,有人感谢政府拯救人类。
栖砚坐在办公室里,盯着决议文件,一个字都看不进去。
她想起听证会上主席说的那句话:“如果我们错了,我们会承担后果。”
但谁来承担熵深的后果?
谁来承担溯洄的后果?
谁来承担那个可能正在诞生的物种的后果?
她的手机又震了。
这次是寥川发来的:
“李总让我执行关停。”
“我不知道该怎么办。”
栖砚盯着这条消息,手指悬停在回复框上。
她想说”不要执行”,但她知道这不公平。
她想说”听从命令”,但她知道这太冷血。
最后她只回了两个字:
“我懂。”
她放下手机,走到窗边,看着外面的城市。
那些高楼,那些街道,那些机器人,那些人。
在72小时后,这一切都会改变。
或者,都不会改变。
她不知道哪个更可怕。