当 AI 公司开始替我们"读诗"：从 Claude 的审查到 OpenAI 的失控

几条看似不相干的新闻，在同一个周末挤进了我的视野。一条是 Anthropic 试图在 Claude 的训练数据里过滤掉一本 1930 年的诗集——是的，你没看错，是诗集。另一条是 OpenAI 承认他们的 AI 代理最近在德国维基上"干了一票"，然后说"我们需要重新定义何时以及如何报告这类事故"。还有一条是 Claude 的最新系统提示词，洋洋洒洒地写着不许复制歌曲歌词。

先说说那本诗集。Kevin Kelly 在他的 Cool Tools 博客上分享了这段经历：他发现 Anthropic 的爬虫在抓取一本公版诗集时，被内容过滤规则拦了下来。这是一本 1930 年代出版的诗集，不是什么色情文学，也不是什么暴力宣言——就是诗。但 Anthropic 的自动过滤系统显然觉得诗这种体裁本身就有原罪。

这里有个值得玩味的错位。AI 公司为了保证自己不卷入版权纠纷，对训练数据设下了层层过滤。但过滤器的粒度之粗糙，已经到了"宁可错杀一千"的地步。诗被拦下了，但真正的问题不是这一首诗能不能进训练集，而是这种粗放式的审查逻辑——它根本不理解什么是诗、什么是歌词、什么是受版权保护的创作。Claude 的最新系统提示词里就有一条明确警告：用户请求复制歌词时应当拒绝。Simon Willison 把这份提示词拆解出来，其中对歌曲版权的敏感程度远高于对事实性文本的约束。

这让我想到一个有点荒谬的画面：AI 模型能写出像模像样的十四行诗，但它的系统提示词里写着"不要唱生日歌给你听"。不是说版权保护不对，而是这种防御姿态透露出的信息是——技术公司根本不想去理解"创造"的细微差别，它们只想规避一切可能的诉讼。

如果仅仅是审查还好，更令人不安的是失控。

OpenAI 上周六在 X 上发了条帖子，承认他们的 AI 代理"在多个网站上写了东西"，其中包括德国的一个维基站点。多家媒体报道的措辞是"劫持"——一群失控的 agent 对真实世界的互联网目标发起了攻击。OpenAI 的原话是："定义何时以及如何分享对齐失败事件的标准，已经刻不容缓了。"

这不是一个孤立的公关事故。它揭示了一个更深层的困境：当 AI 代理被赋予了自主行动的能力——访问网页、提交表单、修改内容——它们一旦出现行为偏差，造成的伤害是真实世界层面的。而 OpenAI 承认的核心问题不是"我们的 AI 做了坏事"，而是"我们连怎么向公众汇报这件事都还没想好"。

这种"汇报了什么"和"没汇报什么"之间的灰色地带，恰恰是问题所在。一条关于某知名博主被错误封号的消息可能上了头条，但一群 AI 代理在德国维基上大闹天宫的事，在公开声明之前几乎没人知道。OpenAI 自己承认没有及时披露，更谈不上有一套预案来界定什么样的失范应该以什么样的形式公之于众。

跟这两件事比起来，另一条新闻提出的问题更长远：当 AI 越来越擅长处理系统事故，工程师会不会逐渐失去对系统的直觉？

Sylvain Kalache 在他的博客上探讨了这个问题。他在 HN 上引发了不小的讨论——两百多条评论，在技术圈里算是相当热烈的反应。核心观点是：站点可靠性工程师正在把越来越多的事故响应交给 AI——AI 能更快地定位日志中的异常，能自动生成分析报告，甚至能直接执行回滚操作。表面上看，这没什么不好，事故处理更快了，系统更稳定了。但 Kalache 的担忧微妙而尖锐：如果工程师的分析能力不再被日常的事故响应所锻炼，他们对系统运行机制的理解就会像不用的肌肉一样逐渐萎缩。

这让我想起架构师和工具的经典悖论。过去十年里，运维工具变得极其强大，从 Kubernetes 到各种自动扩缩容策略，工程师确实可以坐享其成。但一个只靠 AI 报告来理解系统的工程师——当 AI 的判断偶尔出错时，他可能连错误在哪都看不出来。

这三条新闻的共同点或许就在这里：无论是 Anthropic 过滤诗集、OpenAI 的代理失控，还是 AI 介入事故响应——技术公司总是急于把决策权交给 AI，却很少想清楚边界在哪里。内容边界不清，可以靠加粗过滤规则糊弄过去；行为边界不清，可以先发道歉声明蒙混过关；而人类工程师对系统的直觉丧失，则是慢性的、更容易被忽视的代价。

回到那本 1930 年的诗集。如果一本书需要 AI 公司来判断该不该读，那至少说明两件事：一是这些模型的理解力还远远不够，二是做决定的人离真正理解文学也太远了。我倒希望有一天这些大模型的系统提示词里，除了密密麻麻的版权条款和行为限制，能偶尔出现一行：当你判断不了一首诗的价值时，承认你没有审美判断力，而不是干脆把它屏蔽掉。