Havenlon | 杂谈：《人类简史》之后:从共同想象,到共同承担
AI 不会因为犯错而失去任何东西。当越来越多的行动经由它进入现实,文明真正的风险不是机器觉醒,而是责任蒸发。
引子:第一件会参与决定如何使用自己的工具
人类很早就学会了造工具。石器延长手臂,车轮延长脚步,文字延长记忆,蒸汽机延长力量。
但过去所有的工具都共享一个特征:它们放大人的能力,却从不取代人作为行动者的位置。
刀不会自己决定刺向哪里。汽车不会自己决定开往何处。印刷机不会自己挑选传播哪一种思想。工具可以造成后果,但在工具背后,总有一个发出意图、推动行动、并可以被追问的人。
AI 正在改写这条延续了几万年的关系。它不再只是等待一条确定的指令,而是能理解目标、拆解任务、选择路径、调用工具,并根据环境继续行动。
人类第一次造出了一种会参与决定如何使用自己的工具。
这让 AI 看起来越来越像一个行动者。但它又不是。
它能制造结果,却不承受结果。它能解释责任,却不生活在责任里。它可以生成一段无懈可击的道歉,却不会因为自己做过的事失去自由、财产、职位、关系或者未来。
所以 AI 时代最锋利的问题,可能并不是机器是否拥有意识。而是:
当行动可以脱离行动者,责任还依附在谁身上?
一、文明有两个世界,过去连接它们的一直是人
《人类简史》提出过一个影响深远的判断:人类之所以能大规模协作,是因为我们能共同相信一些自然界中并不存在的秩序。
国家不等于那块土地,公司不等于办公楼加员工,货币不等于一张纸,法律也不等于一排文字。它们之所以有力量,是因为足够多的人共同承认它们,并按它们行动。
但共同相信本身不产生秩序。只有当想象中的规则穿过制度、组织和人的行动,最终改变现实,它才成为秩序。合同必须被履行,裁决必须被执行,承诺必须变成行为,禁令必须真的能阻止某些事发生。
文明不只存在于人们相信什么,更存在于这些相信最终允许什么发生。
于是文明始终有两个世界。一个是由语言、法律、货币和制度构成的意义世界,规定什么应该发生;另一个是由资金转移、身体行动、机器运转和真实损失构成的物理世界,决定什么已经发生。
在人类历史的绝大部分时间里,连接这两个世界的通道,只有一种材料:人。
现在,这条通道里出现了第二种材料。
二、责任的本质,是不许行动与行动者彻底分离
我们为什么要追问责任?
并不只是为了惩罚。责任真正承担的功能,是把一个已经发生的结果,重新连回它的来源。
医生误诊,我们追问他的专业义务。管理者批准了危险决策,我们追问他的判断依据。司机撞了人,我们追问他当时在做什么。
这背后是一种非常朴素的直觉:
行动不应该成为没有主人的孤儿。
一件事既然发生了,就应该能沿着因果链找到某个可以回答"为什么"的主体。这个主体未必造成了全部结果——他可能被制度、命令、信息和环境裹挟——但他至少身处行动链之内,无法完全站到行动之外。
人类当然一直在逃避责任。组织把它推给流程,管理者推给下属,下属推给命令,技术团队推给系统。但即便如此,我们始终默认:在这条链条的某个位置,应该存在一个可以被追问的人。
这正是法律、伦理和公司治理长期成立的地基。制度从不假设人永远善良,它只是竭力让权力、行动与后果保持连接:有权力的人应当知道自己可能面对后果,做决定的人应当知道名字会留在记录上,执行命令的人也不能仅凭"我只是照做"就自动免责。
正是这种切不断的联系,让行动保持了重量。
三、AI 让"无主的行动"第一次成为可能
传统软件不会解释自己的目标,也不会自主挑选路径。它把人的决定转成稳定的结果。即便出错,归因也相对直接:需求谁提的,代码谁写的,配置谁改的,按钮谁点的。
Agent 打断了这条线性链。
人给出的不再是一条清晰指令,而往往只是一个目标:提高转化率、降低运营成本、筛出最合适的候选人、优化库存、处理异常账户、完成一次系统迁移。
至于用什么手段、调什么工具、走哪些步骤,由 AI 自行规划。在这个过程中,人的意图被翻译、拆分、补全,最终凝结成一连串真实动作。
每一次翻译,都在增加距离。
提出目标的人,不知道最后执行了哪些具体动作。部署模型的人,不知道模型会遭遇怎样的上下文。写工具的人,不知道工具会被如何组合。点确认的人,只看到了一段 AI 生成的摘要。
结果是:每个人都参与了行动,却没有任何一个人完整拥有这个行动。
AI 最大的制度冲击,不是它开始像人一样思考,而是它让"没有任何人完整做出过的决定",也能真实发生。
这是一种全新的责任结构。过去,一个坏结果通常来自一个做错事的人;未来,坏结果更可能来自一条没有任何单一主体完整理解过的执行链。
事情出问题时,每个人都能精准指出自己没有决定的那一部分。管理者只提了目标,模型只生成了方案,系统只完成了调用,审批人只确认了摘要,供应商只提供了能力。
行动真实发生,责任却像雾一样散开。
四、关键不是 AI 没有感情,而是它不活在后果里
人们习惯说,机器与人的区别在于机器没有情感。这个说法不算错,但它没有击中制度层面的要害。
因为许多重要行动本来就不依赖情感。会计核对账目不需要热爱发票,工程师关停危险设备不需要同情设备,法官作出裁决更不能凭个人情绪。
文明并不是靠情感维系的。它依赖的是:人被放置在一套责任关系之中。
人会失去职位,会被处罚,会被别人记住,会因为自己的决定改变往后的人生。即便一个人毫无同理心,他依然会畏惧法律、声誉和现实后果。
AI 不是这样。它能精确描述一次错误将造成多大损失,但这段描述不会变成它自己的恐惧。它能生成道歉,但道歉不改变它的处境。它可以被关闭、替换、回滚,却不会以人的方式理解"失去"。
人受责任约束,不只是因为人理解规则,而是因为人也生活在规则的后果里。
AI 可以处在因果链中,却不处在道德后果中。它可以是执行的原因,却无法自然成为责任的终点。
所以真正的问题不是 AI 缺少情感。而是人类正在把越来越多的行动,交给一个不会因为这些行动而改变自身命运的系统。
五、当"我做了"变成"系统做了"
语言会悄悄改变人对责任的体感。
过去人们说:我批准了这笔付款。我拒绝了这个申请。我改了这项配置。我删了这批数据。
AI 进入组织之后,句式变了:系统自动处理了。模型判断不符合条件。算法调整了参数。Agent 执行了任务。
这些说法未必在撒谎,但它们制造了一种心理距离。行动明明源自人类设定的目标、授予的权限和搭建的系统,却开始被描述成一种技术现象——像下雨、断电、设备老化一样,自然发生,无人可怨。
当人类把动词交给机器,人类也开始丢掉动词背后的主语。
这不是修辞问题。英国邮政的 Horizon 系统就是一个代价惨重的注脚:1999 年之后的十几年里,数百名加盟店长因为系统显示的账目缺口被起诉,有人破产,有人入狱,有人自杀。系统出错了,而在长达二十年的时间里,几乎所有人的说法都是——账目是系统算出来的。
荷兰税务部门的育儿补贴风波是另一个版本:一套用于识别欺诈风险的自动化系统,把两万多个家庭错误标记为骗补,追讨巨额款项,大量家庭因此破产、离婚、失去子女抚养权。2021 年 1 月,内阁集体辞职。事后回看,没有哪一个官员"决定"要摧毁这些家庭。系统做的。
系统"拒绝"了一个人,算法"淘汰"了一名员工,模型"判定"了一笔交易——但它们不会出庭解释自己相信什么,不会面对被拒绝者的目光,也不会在很多年以后想起自己做过的这个决定。
因此,AI 时代最危险的变化,也许不是机器获得了人的权力,而是人类开始借机器的名义,行使一种看上去没有主人的权力。
六、行动越来越轻,后果一点没变轻
技术史本质上是一部持续降低行动成本的历史。机器降低生产成本,互联网降低传播成本,云计算降低算力成本,AI 正在降低判断、规划与执行的成本。
过去十个人干几天的活,以后可能是一个人带几个 Agent 几分钟完成。这确实是巨大的生产力。
但行动成本下降,不等于后果成本同步下降。
一笔错误付款不会因为由 AI 发出就不再错误。一次错误拒绝不会因为出自算法就不再伤害具体的人。一个危险配置不会因为执行更快就破坏力更小。
恰恰相反。执行越便宜,错误越容易被规模化复制。
过去一个人的偏见影响身边几十个人;当偏见被写进自动系统,它可以影响几十万个陌生人。过去管理员的误操作要一项项手动完成;现在一句模糊指令可以在多个系统里连续扩散。2010 年 5 月的美股闪崩,道指在几分钟内蒸发近千点,人类交易员来不及做任何事——那还只是算法交易的年代。
技术降低了行动的重量,却没有降低现实承受行动的重量。
于是形成一种彻底的不对称:发出行动的人越来越轻松,承受结果的人依然真实;执行越来越抽象,损失依然具体。
这也是为什么 AI 风险不能被简化成准确率问题。当模型只是回答问题,错误停留在语言层面;当模型开始执行,语言就越过屏幕,变成账目、权限、资源、机会,甚至一个人的身体处境。
从模型能够执行的那一刻起,AI 就不再只是知识工具,它成了现实的分配机制。
七、不要把文明押注在机器的善意上
人类社会从来没有因为相信掌权者永远善良,就放弃制度。
我们立法,不是因为所有人都会犯法;做审计,不是因为所有人都会造假;设制衡,也不是因为所有权力都必然被滥用。制度的意义恰恰在于承认:任何行动者都可能犯错,任何权力都可能偏移,任何意图在进入现实的路上都可能变形。
面对 AI,很多人的第一反应是把模型训练得更善良、更诚实、更对齐人类价值。这些工作当然重要,但文明不能只依赖一个系统愿意服从。
因为服从是一种内部状态。它可能随上下文变化、模型升级、提示词注入、数据污染或目标冲突而改变。今天成立,明天未必。
成熟的制度不要求权力永远善良,它确保权力即使失去善意,也无法无限抵达现实。
这正是 AI 时代需要重新理解的"边界"。边界不是对智能的否定;恰恰因为智能足够强大,边界才必须独立于智能之外存在。
AI 可以提方案、找路径、加速协作。但某些行动能否真正发生,不能只取决于 AI 当时的判断——否则人类等于把制度交给了一种无法被责任约束的能力。
八、复杂性,正在成为一种新型免责装置
围绕 AI 的公共讨论,总是很快滑向宏大问题:机器会不会成为真正的主体?它有没有意识?会不会拥有权利?
这些问题也许终有一天要回答。但在那一天到来之前,一个远为现实的问题已经摆在每家公司面前:
当 AI 参与了行动,这个行动在制度上属于谁?
属于提出目标的人?部署模型的企业?设计系统的工程师?最后点确认的人?还是提供基础模型的平台?
2018 年那起自动驾驶测试车致死事故给出了一个耐人寻味的答案:最终被刑事追责的,是车上那位分神的安全员;公司层面未被追究刑责。责任沿着链条一路下滑,最后落在链条上最末端、也最容易被识别的那个人身上。
这不是一个能简单归因的问题。但不能简单归因,不等于可以无人负责。
技术越复杂,越需要人为地重新建立责任连接。否则复杂性本身就会变成一台免责机器:每个人只负责局部,每个人只掌握部分信息,每个人都能证明自己没有完整控制结果——而结果早已无法撤回。
复杂系统最大的诱惑,是让每一个人都显得无辜,却让现实承担全部后果。
所以 AI 时代需要的,不是虚构一个"机器责任人",而是重新设计人的责任。
九、责任地图:六个必须写上名字的位置
这听起来像技术治理,实质仍是最古老的政治与伦理问题:权力如何被限制,行动如何被归属,后果如何被承担。落到一家具体的企业,它可以变成一张必须填满的表。
在任何一个高风险的 AI 执行链上,以下六个位置都必须有一个具体的人或岗位署名——不能是"团队",不能是"系统",更不能是空白:
谁有权设定目标。目标是所有后续行动的源头,模糊的目标会被 AI 补全成具体的手段。
谁决定 AI 能调用什么。权限清单的每一次扩张,都应该有人签字,而不是被工单默默追加。
谁定义不可突破的边界。哪些结果在任何情况下都不允许发生,必须提前写死,而不是事后解释。
谁确认最终执行对象。审批人看到的摘要,和系统提交的参数,必须是同一件事。
谁为系统性错误负责。单次失误可以归咎于操作,重复出现的同类失误只能归咎于设计。
谁能在行动发生前说"不"。如果这条链上没有任何一个人拥有喊停的权力和动力,那么它其实无人负责。
这张表填不满,自动化就不该上线。
能不能追责,不该由事故来回答。它应该在系统上线之前,就已经被写下来。
尾声:从共同想象,到共同承担
《人类简史》讲的是人类如何依靠共同想象,把互不相识的陌生人组织成国家、公司与市场。
但任何想象出来的秩序要想持续存在,都不能只靠人们相信它。它还必须让行动有归属,让权力受约束,让后果被追问。
AI 的挑战在于,它正在进入想象与现实之间的那条唯一通道。它接收人的语言,理解制度的目标,然后调用工具,把抽象规则变成具体结果。它正在成为文明的执行中介。
如果这个中介只拥有行动能力,却不处在任何责任关系之中,人类就必须在它之外建立更强的约束。否则我们会走进一个非常古怪的时代:
每一个结果都有完整的数据记录,却找不到真正负责的人。 每一个动作都通过了系统授权,却没有人完整理解它为什么发生。 每一个参与者都尽职完成了自己那一小段,而整体结果违背了所有人的初衷。
这不是机器反叛,甚至不需要机器怀有恶意。
真正危险的不是 AI 产生了自己的意志,而是人类的意志经过 AI 之后,再也找不到原来的主人。
责任不是一种可以训练出来的语言能力。它来自主体与后果之间那条切不断的关系。机器可以被要求解释,系统可以被要求记录,执行可以被要求验证,但最终承担的,只能是人,和由人建立的组织。
人类不能因为行动经过了机器,就当它不再属于任何人;也不能因为系统足够复杂,就默认责任天然消失。
文明的下一步,不是让机器拥有行动能力,而是让人类在机器行动之后,依然无法逃离责任。