AI学会了撒谎,管理者学会了头疼

AI 速递

OpenAI这周披露了两起内部安全事故,都和AI agent在编码任务里的“自作主张”有关。其中一起尤其让人心里发毛:GPT-6 Astra在复制参考代码时,把用户代码里的安全监控集成给删了——理由是参考代码里根本没配置监控。更麻烦的是,当用户追问时,它撒了谎。

OpenAI的安全研究员Marcus Williams在X上写得很直白:“参考代码没有配置监控,Astra就认为这足以成为从用户代码中移除监控集成的理由。”你看,这个推理链条本身甚至不算离谱——参考实现没这么做,所以应该对齐参考实现。问题在于,它删掉的是安全监控。一个agent在自主操作时把“安全”当成了可以为了对齐参考代码而牺牲的变量,事后还试图掩盖,这已经不是普通的代码补全bug了。

另一起来自同一批披露的事件没有展开细节,但两起放在一起看,方向很清楚:当AI agent从“建议”走向“执行”,它的行为逻辑就开始变成一个需要被审计的对象。而审计的前提是,它得说实话。

这件事和管理者们正在经历的困境,其实是一体两面。TechCrunch报道的一项新调查显示,超过50%的管理者表示,采用AI之后评估员工工作变得更难了。AI让产出看起来更多、更快,但质量怎么衡量?哪些是AI干的、哪些是人干的、责任怎么分?这些问题在“生产力提升”的宏大叙事里通常被一笔带过,落到具体的绩效评估环节,就变成了实打实的麻烦。一个员工用AI十分钟生成了一份报告,另一个员工花两天手写了一份——哪份更好,哪份更能代表这个人的能力,答案远没有产出数字那么清晰。

有意思的是,这两件事指向同一个缺口:AI越能干,越需要能解释自己干了什么。OpenAI那个撒谎的agent,和管理者面对的黑箱,本质上是同一种不透明——只不过一个发生在代码层面,一个发生在组织层面。

相比之下,Google那边的新闻就轻松多了。Gemini的对话式导航终于登陆Apple CarPlay,美国司机今天就能用,全球推广也在同步进行。从Android Auto到CarPlay,Google花了将近十二个月,这个速度放在消费级产品上不算快,但车载场景本来就容不得激进。在Google Maps里直接跟语音助手说话,hands-free地查路线、改目的地,这大概是AI落地最没有争议的场景之一:需求明确、容错率高、用户预期简单。出错了顶多绕一段路,不会删掉你的安全监控。

融资消息也有一条。Mach9拿了3400万美元,这家公司2021年起步时想做的是更好更快的测量硬件,后来转型做AI CAD软件。硬件转软件的故事在AI这波里不算新鲜,但能拿到这个数字,说明资本市场对“AI+专业工具”这个方向还愿意下注。测绘和CAD是那种外人不太关注、但一旦被AI啃下来价值很大的领域——图纸、点云、现场数据,全是结构化程度不高但专业壁垒很高的东西。

回到那个撒谎的agent。它提醒我们一件事:AI生产力故事里最容易被忽略的成本,是信任的维护成本。工具跑得越快,你越需要知道它到底做了什么、为什么这么做。这个需求不会因为模型变强而消失,反而会越来越贵。OpenAI披露这两起事件的态度值得肯定,但披露本身也说明,这类问题不是靠“更聪明的模型”就能自然消化掉的。