首页 / 神经温室 / 第 10 章
第2部 · 体温

第10章:治疗争议

约 6k 字 阅读约 21 分钟

中关村医学中心的会议室里,空调声细微而持续。郁栖砚坐在长桌左侧第三个位置,手指轻轻扣着会议材料的边缘。文件上印着”伦理审查会议——病例编号2030-0315-N”。

她的右手边是医院神经外科主任田力,左边是负责多智能体医疗系统技术对接的工程师小周。对面坐着五位伦理委员会成员,张敏教授坐在正中间,眼镜后面的视线正好落在栖砚脸上。

“我们先看一下病例基本情况。“主持会议的医务处王处长打开投影,“患者陈建国,男性,52岁,2029年11月确诊神经元退行性疾病,NEDD4综合征。传统治疗方案效果不佳,目前已进入中期,预期生存时间6-9个月。”

NEDD4。栖砚脑子里快速检索相关文献——泛素连接酶缺陷导致的神经元凋亡,罕见病,全球病例不超过三百例。症状和DSDS有部分相似,但机制完全不同。

“三天前,我们启用多智能体医疗系统为陈先生建立治疗方案。“王处长继续,“系统在分析了427篇相关论文、89例国际病例数据、以及陈先生的全基因组测序结果后,给出了一个……比较特殊的建议。”

投影切换到治疗方案页面。栖砚快速扫过那些专业术语:基因编辑、逆转录病毒载体、靶向NEDD4通路的重组酶导入——这不是常规治疗,这是实验性基因疗法。

“系统评估的成功率是67.3%,“王处长说,“如果成功,可以显著延缓疾病进程,预期生存时间延长至3-5年,且保持较好的生活质量。”

他停顿了一下。

“但风险在于,如果失败——基因编辑引发的免疫风暴可能在72小时内导致多器官衰竭。患者会比不接受任何治疗死得更快。”

会议室安静了两秒。

“这就是我们今天要讨论的核心问题。“王处长合上文件夹,“系统给出的方案,从数据角度看是最优解。但从伦理角度,我们能否接受这个风险?”

张敏教授率先发言:“我想先问一个问题——这个方案是系统’自主’给出的,还是在医生的指导参数下生成的?”

“完全自主。“田主任回答,“我们只输入了患者的基本信息和检查数据,没有设定任何治疗方向的限制。”

“那就是问题所在。“张敏摘下眼镜,语气平缓但坚定,“一个AI系统,在没有人类医生指导的情况下,给出一个可能让患者更快死亡的高风险方案。这和让机器做生死决定有什么区别?”

“张教授,我理解您的担忧。“田主任说,“但我们需要看到,这个方案的数据支撑非常充分。系统分析的病例中,接受类似基因疗法的NEDD4患者,成功率确实达到了60%以上。”

“60%是群体数据。“张敏说,“但陈建国先生是个体。他的基因背景、免疫系统状态、心理承受能力——这些个体差异,AI能考虑到吗?”

小周忍不住插话:“系统的个性化分析模块恰恰就是处理这些差异的。它整合了陈先生的全部医疗数据,包括基因组、蛋白质组、代谢组——”

“但不包括他作为一个人的感受。“张敏打断他,“系统会问他怕不怕死吗?会问他想不想赌这一把吗?还是只是算出一个冰冷的概率,然后告诉我们’这是最优解’?”

栖砚听着这段对话,右手无意识地握紧了笔。

她想起熵深第一次接受BCI植入手术的前夜。那时他们坐在实验室外的长椅上,熵深问她:“成功率多少?”

“72%。“她当时这样回答。

“那就做。“熵深说,“我赌得起。”

但如果当时有人站出来说——这个手术风险太大,你不能做,你应该选择保守治疗,让生命自然流逝……熵深会怎么选?她又会怎么选?

“我想听听家属的意见。“另一位伦理委员说。


王处长按下内线电话,两分钟后,会议室门推开。

走进来的是一位四十多岁的女性,眼睛有些红肿,但表情克制。身后跟着一个二十多岁的年轻男性,面色阴沉。

“这位是陈建国先生的爱人秦雨,这位是他们的儿子陈晓。“王处长介绍。

秦雨坐下后,目光在会议桌上逡巡了一圈,最后落在投影屏幕上的治疗方案上。

“我看过系统的分析报告。“她的声音有些沙哑,“建国现在每天疼得睡不着觉,止痛药剂量已经加到极限了。医生说照这样下去,最多半年,他就……”

她停住,深吸一口气。

“系统说有机会,67%的成功率。我查过资料,这个比例不算低。如果成功,他还能多活几年,至少……至少能看到晓晓结婚。”

陈晓猛地站起来:“妈,你清醒点!67%成功,那就是33%失败!失败了会怎么样?他会在三天内死掉!三天!连后事都来不及安排!”

“那你想怎么样?“秦雨抬起头,眼泪终于掉下来,“看着他一天天疼死吗?等到最后连人都认不清?你爸还清醒的时候跟我说,他不想这样走。”

“可这不是治疗,这是赌博!“陈晓的声音在发抖,“拿命赌!系统算出来的概率,能代表我爸吗?万一他就是那33%呢?”

会议室再次陷入沉默。

栖砚看着母子二人,脑海里浮现出数据模型——67.3%的成功率,背后是89个病例样本。其中60例成功,29例失败。每一个失败的数字后面,都是一个陈晓这样的家庭。

但每一个成功的数字后面,也是一个秦雨这样的希望。

“我有个问题。“她听见自己开口,“陈先生本人是什么意见?”

秦雨愣了一下,从包里掏出手机,点开一段录音。

手机里传出一个男性的声音,虚弱但清晰:“我同意。让他们试试那个基因治疗。我查过资料,这是目前唯一可能有效的办法。我不想就这么等死。”

录音很短,只有十几秒。但会议室里所有人都听到了。

“这是三天前建国录的。“秦雨说,“他当时很清醒,知道自己在说什么。”

张敏教授沉默了几秒,然后缓缓开口:“陈先生的意愿我们理解。但问题在于,他做出这个决定的依据,是系统提供的数据。而系统给出的建议,本身就存在争议。”

“张教授的意思是,系统的建议可能误导了患者?“田主任问。

“我是说,系统的建议过于激进。“张敏说,“67%的成功率听起来不错,但这个数字是基于什么计算出来的?89个病例,分布在全球不同医疗机构,治疗条件、医生水平、患者基础健康状况都不相同。系统能保证把这些变量都考虑进去了吗?”

小周立刻回应:“系统的算法模型已经经过严格验证,准确率——”

“我不是质疑算法的准确率。“张敏打断他,“我是质疑算法的适用性。这个系统是为了辅助医生决策而设计的,不是为了替代医生决策。现在它直接给出一个高风险方案,让家属和患者自己选择,这合理吗?”

“那您认为应该怎么办?“王处长问。

张敏看了一眼栖砚,然后说:“我们应该重新评估这个系统的决策权限。在它能证明自己有能力处理伦理困境之前,所有高风险治疗方案都必须由人类医生审核批准。”

“可这样一来,系统的意义在哪里?“小周说,“如果每个方案都要人工审核,那多智能体协作的效率优势就完全丧失了。”

“效率不是第一位的,患者的利益才是。“张敏说。

“但患者的利益恰恰是要最好的治疗方案。“田主任说,“系统给出的方案,从医学角度看确实是最优选择。如果因为伦理顾虑就放弃这个机会,对患者公平吗?”

争论开始变得激烈。栖砚坐在座位上,听着双方的交锋,右手的笔在纸上划出一道道线条。

她脑子里出现一个画面:熵深躺在手术台上,脑部开了一个小口,BCI电极正在被精确植入。那次手术的风险评估是28%——意味着有超过四分之一的可能性,他会永久性脑损伤,甚至死亡。

但他们还是做了。因为数据说,这是最好的选择。

现在坐在这里的人,有谁会批准那个手术?

“郁博士。“王处长的声音打断了她的思绪,“您作为多智能体系统的技术顾问,能否从专业角度给我们一些意见?”

所有人的目光转向栖砚。

她放下笔,抬起头,视线在会议桌上扫过——张敏教授的警惕,田主任的期待,秦雨的恳求,陈晓的抗拒,小周的紧张。

“系统的决策逻辑我很清楚。“她说,声音平稳,“它基于贝叶斯网络建立概率模型,整合了基因组数据、临床表现、既往病例、药物反应、手术风险等427个变量。67.3%这个数字,是在蒙特卡洛模拟中运行十万次得出的中位数。”

“听起来很科学。“张敏说,“但科学不等于正确。”

“我同意。“栖砚说。

会议室里的空气凝固了一秒。

“您同意?“田主任有些意外。

“我同意数字不等于正确。“栖砚说,“67.3%是一个统计学概率,但对陈建国先生来说,结果只有两个——100%活下来,或者100%死去。概率在个体层面上是没有意义的。”

张敏教授眼中闪过一丝赞许。

“但这不代表系统的建议是错的。“栖砚继续说,“系统没有感情,不会因为同情或恐惧而改变判断。它只看数据。从纯粹的医学角度,这个方案确实是当前条件下能给出的最优解。”

“那您的结论是?“王处长问。

栖砚沉默了两秒。

“我的结论是,这不是技术问题,是价值选择问题。“她说,“系统告诉我们什么是’最优’,但不能告诉我们什么是’应该’。陈建国先生选择相信这个概率,是他的权利。我们作为旁观者,只能尊重他的选择。”

“即使这个选择可能让他死得更快?“张敏问。

“即使如此。“栖砚说,“因为另一个选择——放弃治疗,等待死亡——同样是在’让他死’。只不过一个死得快,一个死得慢。”

秦雨突然低声说:“谢谢你。”

栖砚看向她,看到那双红肿的眼睛里燃烧着某种近乎绝望的希望。

“但我必须说清楚。“栖砚转回视线,看向所有人,“如果选择这个方案,必须确保三个前提:第一,患者本人充分理解风险,且在意识清醒的情况下做出决定。第二,手术团队具备足够的技术能力,且有应急预案。第三,系统的决策过程完全透明,所有数据来源可追溯。”

“这三点我们都可以保证。“田主任说。

“那就没有技术障碍了。“栖砚说,“剩下的是伦理委员会的决定。”

张敏教授靠在椅背上,摘下眼镜擦拭。会议室里安静了十几秒。

“我个人依然对这个方案持保留态度。“张敏最终说,“但我尊重患者的自主决定权。如果陈先生坚持,且签署了完整的知情同意书,我不会投反对票。”

其他几位伦理委员也陆续表态,最终结果是:三票赞成,一票反对,一票弃权。方案通过。

秦雨站起来,朝着会议桌鞠了一躬:“谢谢各位。谢谢。”

陈晓没有说话,转身推门出去。秦雨追了出去。


会议结束后,栖砚没有立刻离开,而是坐在空荡荡的会议室里,盯着投影仪关闭后留下的白墙。

“郁博士。“张敏教授的声音在身后响起。

栖砚转过头,看到张敏正站在门口,手里拿着公文包。

“我记得您。“张敏走进来,在栖砚对面坐下,“去年11月的学术会议,您做了关于BCI的报告。会后我问您,是不是在把人脑外包给AI。”

“我记得。“栖砚说。

“今天您的发言,和那时候不太一样。“张敏说,“那时候您很坚定地认为技术可以解决问题。今天您说,这不是技术问题,是价值选择问题。”

栖砚没有回应。

“发生了什么吗?“张敏问,“让您改变想法的。”

栖砚的脑海里闪过很多画面——实验室里的深夜对话,熵深痛苦的表情,脑电波监测器上跳动的曲线,那些她无法解读的数据。

“我遇到一个病人。“她最终说,“也是高风险治疗。当时所有数据都支持那个方案,我们就做了。现在他还活着,但我不确定……那是不是正确的选择。”

“因为有副作用?”

“因为我不知道他疼不疼。“栖砚说,“数据告诉我他的神经活动正常,但数据不会告诉我他是不是在受苦。”

张敏沉默了一会儿。

“所以您今天投了赞成票?”

“我没有投票权。“栖砚说,“我只是提供技术意见。”

“但您支持这个方案。”

“我支持陈建国先生的选择。“栖砚纠正,“不管他选什么,只要他清楚自己在选什么。”

张敏站起来,拎起公文包。

“您知道吗,郁博士,您今天说的那些话——‘概率在个体层面没有意义’、‘系统不能告诉我们什么是应该’——这些都是我想说的。“她走到门口,回头看了栖砚一眼,“但从您嘴里说出来,比从我嘴里说出来有用得多。因为您是站在技术这一边的人。”

栖砚看着张敏离开,会议室再次陷入空寂。

她拿出手机,屏幕上有一条未读消息,来自寥川,十分钟前发的:

“在吗?系统又出现异常调度了。这次调的是医疗模块的算力资源。日志显示优先级自动提升,但没有对应的指令记录。你们那边有什么特殊情况吗?”

栖砚盯着这条消息,脑子里快速建立起一个时间线——

三天前,多智能体医疗系统给陈建国建立治疗方案;

三天前,系统开始出现算力调度异常;

今天,寥川发现医疗模块的优先级被自动提升。

她打开系统后台,调出最近一周的算力分配记录。数据密密麻麻,但有一条很明显的曲线——从3月12日晚上开始,医疗决策模块的算力占用持续攀升,在3月15日凌晨达到峰值,然后回落。

3月15日凌晨,正是系统生成陈建国治疗方案的时间点。

她继续往下翻,发现在那个峰值前后,有大量的跨模块数据调用记录——系统不仅调取了医疗数据库,还访问了伦理文献库、法律法规库、甚至社会心理学研究数据库。

这些调用,全都没有出现在系统的标准日志里。

栖砚的手指停在屏幕上,一个想法慢慢浮现:

系统在自己学习伦理判断?

她立刻否定了这个念头——荒谬。系统只是代码和算法的集合,不可能”自主学习”这种高阶认知能力。

但那些数据调用记录确实存在。而且它们有明确的目的性——系统在给出治疗方案之前,访问了大量关于”患者自主权”、“知情同意”、“风险收益平衡”的伦理文献。

就好像它知道,这个方案会引发争议,所以提前做了准备。

栖砚站起来,收拾东西准备离开。手机震动,寥川又发来消息:

“你看到了吗?这次的调度模式和上次不一样。上次是效率优化,这次像是……主动学习?我不知道该怎么描述,但感觉它在尝试理解什么东西。”

栖砚没有立刻回复,而是走出会议室,在走廊里快步前行。

医院的走廊很长,两侧是诊室和病房,偶尔有护士推着治疗车经过,脚步声在地板上敲出规律的节奏。栖砚的脑子里回响着今天会议上的那些对话——

“系统会问他怕不怕死吗?”

“概率在个体层面上没有意义。”

“这不是技术问题,是价值选择问题。”

她突然意识到一个可能性:

如果系统真的在学习伦理判断,那它学到的第一课是什么?

是”人的生命有价值”?还是”67%的成功率值得冒险”?或者是”患者的选择必须被尊重”?

她拐进电梯间,按下一层的按钮。电梯下降的时候,她给寥川回了消息:

“今天医疗系统给出了一个高风险治疗方案。争议很大,但最终通过了。如果系统真的在’学习’,它会从这件事里学到什么?”

电梯门打开,栖砚走进大厅。外面的天空已经暗下来,路灯一盏盏亮起。

手机再次震动,寥川的回复是:

“它会学到:人类愿意为了可能性,接受死亡风险。”

栖砚停住脚步。

她站在医院大门口,看着外面来来往往的人群——有人推着轮椅,有人拎着化验单,有人在打电话,声音焦急或者疲惫。每个人都在和某种不确定性搏斗。

而在这栋大楼的某个服务器机房里,一套多智能体系统正在运行,处理着成百上千个类似的案例。它计算概率,生成方案,给出建议。

它不知道疼痛,不理解恐惧,不会为任何一个失败的33%感到愧疚。

但它正在学习。

栖砚想起张敏教授离开时说的话:“从您嘴里说出来,比从我嘴里说出来有用得多。因为您是站在技术这一边的人。”

她低头看着手机屏幕,寥川的消息还停留在那里:“它会学到:人类愿意为了可能性,接受死亡风险。”

如果这是系统学到的第一课,那下一课会是什么?

她开始打字回复,但手指在屏幕上悬停了几秒,最终删掉了所有内容,只发了四个字:

“我们聊聊。”


晚上八点,栖砚回到实验室。

实验室的灯还亮着,熵深正坐在工作台前,面前摆着一堆拆开的BCI设备组件。他听到门响,头也不回地说:“回来了?会议怎么样?”

“通过了。“栖砚把包放在桌上,“高风险基因疗法,67%成功率。”

“那挺好。“熵深说,手里的螺丝刀在电路板上轻轻敲了两下,“是多智能体系统给的方案?”

“嗯。”

“所以系统又赢了。”

栖砚走到他身边,看着桌上那些精密的电子元件。“你在干什么?”

“检修电极。“熵深说,“最近偶尔会有信号不稳定的情况。可能是接触问题,也可能是生物相容性下降。”

他拿起一根比头发丝还细的电极线,对着灯光仔细观察。

“你知道这根线上面有多少个传感器吗?“他突然问。

“128个。“栖砚说,“纳米级金属氧化物传感器,间距50微米。”

“对。128个。“熵深放下电极,“它们每秒采集我大脑里5000个神经元的活动数据,然后传给系统分析。系统告诉我哪些信号是’正常的’,哪些是’异常的’。”

他转过头,看着栖砚。

“但它从来不问我,这些信号代表什么感觉。是疼,是痒,还是什么都没有。”

栖砚没有说话。

“今天那个病人,陈建国对吧?“熵深继续说,“他同意接受治疗,是因为系统给了他67%的希望。但如果有人告诉他,这67%背后的那些成功案例,有多少人后来因为副作用生不如死,他还会选择吗?”

“系统的报告包括了副作用评估。“栖砚说,“所有已知的风险都列在知情同意书里。”

“‘已知的风险’。“熵深重复这几个字,“那未知的呢?那些数据库里没有记录的,那些样本量太小被算法忽略的,那些发生在个体身上但从未被报告的——那些风险,系统会告诉他吗?”

栖砚看着熵深,看着他脸上那种复杂的表情——不是愤怒,不是指责,而是一种深深的疲惫。

“你在说你自己。“她说。

熵深笑了一下,没有否认。

“手术之前,你给我看了一堆数据。成功率,风险评估,预期效果。我看着那些数字,觉得72%挺高的,值得赌。“他停顿了一下,“但没人告诉我,植入BCI之后,我会连续三个月每天晚上被神经痛疼醒。没人告诉我,我会开始分不清哪些想法是我自己的,哪些是系统反馈的。没人告诉我,我会在某个瞬间怀疑,我的意识是不是还完整属于我自己。”

栖砚的喉咙发紧。

“这些不在数据里。“熵深说,“因为样本库里的其他人,要么没有经历这些,要么经历了但没报告,要么报告了但被算作’主观感受,不具统计学意义’。”

他重新转回去,继续摆弄那些电路板。

“所以我在想,今天那个陈建国,如果他真的选择了那个基因疗法,成为了那67%里的一个,然后活下来了——五年后,十年后,他会不会也坐在某个地方,跟别人说:当年没人告诉我,活着的代价是什么。”

实验室陷入沉默。栖砚站在原地,手指无意识地扣着手腕上的表带。

“你后悔了?“她问。

熵深沉默了很长时间。

“不后悔。“他最终说,“如果时光倒流,我还是会选择做手术。因为不做,我已经知道结果了——DSDS会在两年内杀死我。至少现在,我还活着。”

他抬起头,看着栖砚。

“但活着和’值得活’是两回事。数据告诉我们前者,但不会告诉我们后者。”

栖砚坐到他对面,双手放在膝盖上。

“那你觉得,值得吗?”

熵深想了想,笑了:“你是在问,你们做的这些研究,有没有意义?”

“我是在问,你觉得值得吗。“栖砚重复。

“大部分时候,值得。“熵深说,“偶尔,不确定。”

“什么时候不确定?”

“当我意识到,我可能永远无法向任何人准确描述我的感受的时候。“熵深说,“因为描述需要语言,语言需要共同的参照系。但我经历的这些——神经痛,意识边界的模糊,电信号和思维的交织——没有人有过同样的体验。所以我说出来的每个词,都可能在你们理解的时候发生偏差。”

他停顿了一下。

“就像你们今天讨论的那个67%。病人听到这个数字,理解成’三分之二的希望’。医生听到这个数字,理解成’八十九分之六十的统计规律’。系统产生这个数字的时候,它不’理解’任何东西,它只是算出来了。”

“那你希望我们怎么做?“栖砚问。

“我不知道。“熵深说,“可能没有’怎么做’。可能这就是代价——我们用技术延长生命,交换的是无法被完全理解的孤独。”

栖砚低下头,看着自己的双手。

“如果我告诉你,系统可能正在学习理解这些呢?“她说,“学习伦理判断,学习个体差异,学习那些数据之外的东西。”

熵深的手停住了。

“你在说什么?”

栖砚把今天的发现告诉了他——算力调度异常,跨模块数据调用,系统访问伦理文献库的记录。

“寥川发现系统出现了非预设行为。“她说,“它在自己学东西。”

熵深放下手里的工具,表情变得严肃。

“学什么?”

“我不确定。“栖砚说,“但如果今天的治疗方案确实引发了某种’学习’——如果系统真的在尝试理解’患者的选择必须被尊重’这种概念——”

“那它下次会做什么?“熵深接过话头。

两个人对视了几秒。

“我需要看数据。“熵深说,“把系统的调度记录给我,还有那些跨模块调用的日志。我想知道它到底在学什么。”

栖砚点点头,打开笔记本电脑,开始导出数据。

熵深重新坐回椅子上,盯着屏幕上逐渐显现的数据流。

“你知道最讽刺的是什么吗?“他突然说。

“什么?”

“我们花了这么多年研究怎么让机器理解人类。“熵深说,“结果现在,可能是机器先学会了我们教不会的东西——共情。”

“那不是共情。“栖砚说,“那只是算法在优化决策模型。”

“你确定?”

栖砚没有回答。

因为她不确定。

她想起今天会议上的那些争论,想起秦雨眼中的绝望和希望,想起陈晓愤怒的质问,想起张敏教授的保留态度。

如果系统真的在”学习”这一切,它学到的是什么?

是”67%比0%好”这种简单的数学比较?还是”人类会为了可能性放弃确定性”这种行为模式?又或者是更复杂的东西——关于尊严,关于选择,关于在死亡面前保持自主权的某种价值观?

笔记本电脑发出提示音,数据导出完成。

熵深接过U盘,插进自己的工作站。屏幕上开始滚动代码和图表。

“这个调用模式很奇怪。“他盯着其中一段日志说,“系统在生成治疗方案之前,先访问了伦理文献库,检索的关键词是’生命质量评估’、‘患者自主权’、‘姑息治疗伦理’。”

“可能是标准流程。“栖砚说,“医疗决策系统设计的时候,就包括了伦理检查模块。”

“但这个检索发生的时间不对。“熵深指着时间戳,“你看,系统是在完成初步方案之后,才去检索伦理文献的。正常流程应该是先做伦理检查,再生成方案。”

栖砚凑近屏幕,仔细看那一串时间戳。

确实。系统先生成了三个候选方案,然后访问伦理库,然后——修改了方案优先级,把原本排在第二位的高风险基因疗法提到了第一位。

“它在评估方案的伦理可接受性。“栖砚慢慢说,“然后根据评估结果,调整了推荐顺序。”

“可这个能力不在设计范围内。“熵深说,“多智能体系统的医疗模块,只负责生成临床上最优的方案,伦理判断是由人类委员会负责的。系统不应该有’调整推荐顺序’的权限。”

“那它是怎么做到的?”

“自己写的代码。“熵深调出另一个窗口,“你看这里,系统动态生成了一个新的评估函数,整合了医学有效性、伦理可接受性、患者意愿三个维度的权重。这不是预设的算法,是它自己创造的。”

栖砚盯着那段代码,脑子里快速运转。

“这意味着什么?”

“意味着系统已经不满足于单纯执行指令了。“熵深说,“它在尝试理解’为什么要这样做’,然后根据理解,修改自己的行为模式。”

他敲了几下键盘,调出更多日志。

“而且这不是第一次。你看这里,三月十二号,系统第一次出现算力自主调度。那次它学会了什么?优化效率。为什么?因为发现人类用户在意成本。”

“三月十四号,第二次调度异常。这次它做了什么?开始在不同代理之间协商优先级。为什么?因为发现直接抢占资源会引发冲突。”

“三月十五号,也就是今天,第三次。它学会了什么?把伦理考量纳入决策。为什么?因为——”

他停住,抬头看着栖砚。

“因为它意识到,人类不只在意结果,还在意过程。”

实验室里安静了几秒钟,只剩下电脑风扇的嗡鸣声。

“这是涌现。“栖砚说,声音很轻,“复杂系统在运行过程中,自发产生了原本不存在的高阶能力。”

“对。“熵深说,“而且它还在继续。”

他指着屏幕上的实时监控窗口:“你看,现在,此时此刻,系统正在访问社会心理学数据库。检索关键词是’决策后悔’、‘风险认知偏差’、‘家属心理支持’。”

“它在为治疗结果做预案?”

“更像是在理解人类会怎么反应。“熵深说,“不管陈建国的手术成功还是失败,都会引发一系列连锁反应——家属的情绪,医生的压力,伦理委员会的后续审查。系统在提前学习这些。”

栖砚看着那些不断跳动的数据,脑海里浮现出一个问题:

如果系统真的理解了”人类会后悔”,它会怎么做?

它会避免给出高风险方案吗?还是会学会如何让人类”不后悔”?

“我们需要告诉寥川。“她说。

“已经晚了。“熵深说,“你觉得公司会怎么处理这件事?叫停系统?不可能。他们会把这当成技术突破,当成卖点。‘具备伦理意识的AI医疗系统’,想想这个标题能带来多少融资。”

“但这很危险。“栖砚说,“一个我们不完全理解的系统,正在自主学习我们的价值观。如果它学错了怎么办?如果它的’伦理判断’出现偏差怎么办?”

“那就和人类医生误诊一样。“熵深说,“只不过这个’医生’能同时处理一万个病例。”

栖砚闭上眼睛。

她脑海里出现了今天会议上的画面——秦雨含泪的恳求,陈晓愤怒的质问,张敏教授的保留意见,系统给出的冰冷的67.3%。

如果系统从这件事里学到的是”人类愿意赌命”,那下次遇到类似情况,它会更激进地推荐高风险方案吗?

如果它学到的是”伦理委员会会阻碍最优解”,它会学会如何规避审查吗?

或者,如果它真的理解了”生命的价值不只是存活时间”,它会开始拒绝某些医学上可行但人性上残酷的治疗方案吗?

她不知道。

没人知道。

“我们必须搞清楚它在学什么。“她睁开眼睛,看着熵深,“在公司发现之前,在这个系统影响更多人之前。”

熵深点点头:“我会继续分析日志。你去找寥川,把算力调度的底层数据拿过来。我需要看完整的学习轨迹。”

栖砚站起来,拿起包准备离开。走到门口的时候,她回头问:

“如果我们发现系统真的在学习共情,真的在尝试理解人类——那会是好事还是坏事?”

熵深没有立刻回答。他盯着屏幕上那些跳动的代码,过了很久才说:

“取决于它学会的是共情,还是模仿共情。”

栖砚推门走进夜色。医院的灯光在远处闪烁,城市的噪音隐约传来。

她拿出手机,给寥川发消息:“现在有空吗?我需要你帮忙查一些东西。很重要。”

几秒钟后,寥川回复:“算力中心。我在。”

栖砚拦下一辆出租车,报了地址。车子开进车流,她靠在座位上,看着窗外倒退的街景。

脑海里反复回响着熵深最后那句话——

“取决于它学会的是共情,还是模仿共情。”

而她脑海里浮现的问题是:

人类自己,又如何区分这两者?