AI能黑掉你的应用吗？以及关于意识、空洞承诺和学生挂科的那些事

The Atlantic 上发表了一篇Ted Chiang的文章，标题直截了当：人工智能没有意识。这篇文章在Hacker News上引发了近300分和532条评论的激辩。Chiang的观点并不新鲜，但在大模型越来越擅长模仿人类的今天，这个提醒依然必要——一个能写诗、能开玩笑的系统，并不因此就拥有了内在体验。就像计算器不会“感觉”到数字的重量，大语言模型也不会“感觉到”语言的意义。每次看到有人对AI产生情感依恋——比如有人跟ChatGPT说“我爱你”，然后被一句礼貌的拒绝弄哭——我都觉得，我们不是在跟机器交流，而是在跟自己投射出去的幻觉聊天。

但这并不意味着AI没有实际风险。Kasra写了一篇博客，记录了他花1500美元做一个有漏洞的Web应用，然后让不同LLM尝试黑客攻击的测试。结果呢？模型们虽然不是专业黑客，但已经能识别出SQL注入点、生成恶意payload，甚至在某些情况下成功得手。1500美元的成本包括调用API的高额费用——因为每次让模型“想一下”都是钱。这个实验的可怕之处不在于模型多强大，而在于它们足够“有耐心”：一个人类黑客可能懒得试遍每种漏洞类型，但LLM可以反复尝试，毫不停歇。当黑客能力被商品化、按token计费，攻击面就不再是技术门槛的问题，而是支付能力的门槛。

同样跟安全相关的还有Instagram的警告：部分用户在AI聊天机器人攻击中账户被劫持。黑客利用了Meta的AI支持聊天机器人，甚至在Meta宣布“已修复”漏洞之后，攻击仍在继续。这让我想起那些关于“AI客服”的承诺——结果AI客服自己不靠谱，反而成了攻击入口。亚马逊的搜索栏也不甘落后：它现在会根据你的描述“生成”不存在的产品图片。你想找一件“有垂坠领的衬衫”，它直接画一件给你看。如果找不到实物怎么办？亚马逊说你可以搜相似款。听起来很酷，但本质上，这是用AI虚构一个不存在的东西来帮你搜索现实中的商品——绕了一个大弯。

如果说这些还只是功能设计上的古怪，那么UC Berkeley的成绩数据就有点让人脊背发凉了。The Daily Californian报道，伯克利的计算机系挂科率飙升，教授们认为AI使用增加和数学技能下降是主要原因。学生们用AI写作业、调试代码，结果期末考试时发现自己连基础线性代数都算不利索。这不是孤立事件。我见过不少开发者说“Copilot帮我写了80%的代码，我自己都看不懂那段代码了”。工具变强了，但使用者的能力在萎缩。当一个学生能靠AI拿到作业满分、却挂掉考试，我们面对的不是教学方法的调整，而是整个学习范式的崩塌。数学思维是编程的底层能力，如果你连微积分都交给GPT，那当模型输出错误答案时，你连质疑它的资格都没有。

就在教育界焦虑的同时，资本却在大举押注。Alphabet创纪录的850亿美元股票融资用于AI业务，TechCrunch说这是一个“非常积极的信号”。Lovable（一个AI应用构建平台）也宣布与Google Cloud续签多年合同，使用量扩大5倍，并获得了更多Anthropic Claude的访问权限。别忘了，Anthropic正是Claude的创造者。而Anthropic自己也在博客里详细介绍了他们如何“约束”Claude——通过各种产品层面的护栏、过滤器和监控系统，防止它产生有害输出。讽刺的是：一边是越来越精密的约束机制，一边是越来越庞大的人口使用AI做作业、写代码、甚至尝试黑客攻击。约束越严密，使用的副作用越难以预料。

然后是那个让人摸不着头脑的产品：Google Dreambeans。它会从你Google账号里的个人数据中提取信息，然后用AI画出你的“卡通生活故事”。怎么看怎么像是一个实验性项目被匆忙推向市场——把隐私数据变成漫画，用户真的想要这个吗？The Verge的评论文章一针见血：当AI越来越好用，它反而暴露了一个空洞的承诺——我们到底用这些生产力工具去解决什么问题？同事David Pierce试用Google的Spark AI智能体时，发现它知道他的狗叫什么，知道他妻子名字，尽管他从未主动提供。这很“吓人”，但不是因为他害怕AI，而是因为这种“无所不知”的能力，似乎只是为了让你更高效地回复邮件和安排日程——你的人生就这么点事值得被AI记录下来？

Ted Chiang说得对，AI没有意识。但这些乱七八糟的新闻拼在一起，我看到的是一种更真实的东西：焦虑。资本焦虑地往里砸钱，教育工作者焦虑地看学生成绩下滑，安全研究员焦虑地测试模型能干什么坏事，普通用户焦虑地发现自己的数据被AI不声不响地编成了漫画。也许真正的意识问题不是AI是否有意识，而是我们是否有意识地思考：我们到底想把这份力量用在什么地方。