Copilot 涨价的代价,和一台 GPU 的沉默反击

AI 速递

GitHub Copilot 换了一种定价方式,开发者们的反应出奇一致——“What a joke”。TechCrunch 的报道标题里直接写“Github Copilot 的黄金时代似乎结束了”,这语气不像夸张,更像是从评论区里提炼出来的共识。

新方案是按 token 收费,也就是说你写的每一行代码、调用的每一次补全都按照消耗的 token 来计费。对重度用户来说,这意味着月底账单可能翻倍;对轻度用户,以前每月 10 美元能包场,现在却要为每一个建议单独付账。微软在公告里大概强调过“更灵活”“按需付费”之类的话术,但开发者看到的只有一条:用越多,越贵。

问题是,Copilot 本身的质量并没有同步飞跃。它仍然会给出不安全的建议、过时的 API 调用,甚至幻觉出根本不存在的库。以前大家忍了,因为包月费便宜,就当是个帮忙搜文档的初级搭档。现在每 token 都要心疼,耐心自然会归零。评论区里有人算账:“写一个函数建议消耗 500 token,合几分钱,一天 200 次建议,一个月就是 30 美元——而我自己查 Stack Overflow 是免费的。”这话糙理不糙。

在这个节点上,另一条消息恰好戳中了同一个痛点:一篇来自 arXiv 的论文——Rotary GPU: Exploring Local Execution for Large MoE Models Under Limited VRAM——探讨了如何让大参数 MoE 模型在消费级 GPU 上本地运行。

MoE(混合专家)模型的特点是参数量巨大,但每次推理只激活部分专家。这给了优化空间:论文提出的 Rotary GPU 方法能在有限显存下动态调度专家层,本质上是把 GPU 当作一个会转动的分配器,根据当前输入只载入需要的权重,把不活跃的部分存到内存甚至 SSD 上。实验显示,在 12GB VRAM 的显卡上,它能跑通 130B 参数的 MoE 模型,推理速度虽然比不上数据中心里的 H100,但已经是“能用”的级别。

两者放在一起看很有意思。一边是商业 CoPilot 在涨价,推动开发者重新算经济账;另一边是开源社区在努力降低本地推理的门槛,让“自己跑模型”不再是极客专利。当 API 计费越来越细、越来越贵的时候,本地部署的价值就从“隐私”扩展到了“成本控制”。你不需要在每次写一个 if 语句前都纠结这个 token 值不值。

当然,Rotary GPU 远远没有达到替代 Copilot 的程度。130B 模型在 12GB 显卡上运行,大概也就够生成几句代码建议,远不如云端 Copilot 流畅。但趋势是明确的:显存在涨、算法在优化、MoE 结构的稀疏性正在被更聪明地利用。几年后,一张中端卡也许就能运行目前只能在云端跑的模型。

我个人的看法是,Copilot 这次的定价变动不会是孤立事件。整个 AI 行业正在从“烧钱获客”走向“精细化收费”,每一个看似无害的计费改动都会触动开发者的神经。而技术研究的力量就在于,它总能给被涨价困住的人另一条出路——虽然现在这条出路还坑坑洼洼,但路的轮廓已经清晰了。