在当前AI研究格局中，有一个想法既最诱人也最危险：让AI自我改进。想象这样一个场景：AI编写代码，训练下一代模型，然后那个下一代模型反过来增强自身，产生更强大的后续模型。许多人将这一循环的实现称为"奇点"——一旦运转起来，AI可能摆脱人类限制，以指数速度独立进化。
深度解析Anthropic最新论文
让我们深入Anthropic最近一篇题为《当AI自我构建》的论文。它以两个引人入胜的视觉开篇。一个是像素艺术风格的Claude标志自我复制成更大版本，然后成为下一个复制周期的小单元。这个视觉隐喻说明：如果AI进入自我构建循环，其增长将不是线性的，而是级联加速的过程——一个循环嵌套在另一个循环中，越来越快。
第二个视觉描绘了AI开发方法的演变：从工程师手写代码，到聊天机器人辅助写代码片段，到能自主修改文件和运行代码的Agent，再到Agent派遣子Agent协作完成数小时任务。最终阶段标注为"闭合循环"，AI迭代设计、训练和改进下一代模型。这是核心论点：AI研究可能正进入自我加速和自我革命的循环。
虽然这篇论文有洞察力，但它不是严谨的学术论文——包含数据但也有PR包装，比如强调模型的"危险"来吸引全球关注。所以对结论要持保留态度。
具体数字和实际案例
Anthropic提供了一些引人注目的数字：
- Claude现在编写了Anthropic官方代码库中超过80%的代码
- 典型工程师的每日代码贡献量约为2024年的8倍
- 过去人类需要4分钟完成的任务，Claude现在可在1.5小时内完成
- 小型实验室中某些任务实现了52倍加速
但应谨慎看待这些数字。当Anthropic炒作其Mythos模型极其强大时，实际测试讲了不同故事：curl工具的开发者发现Mythos报告的5个漏洞中只有1个是有效的低严重性问题。Mozilla提到Mythos帮助找到271个漏洞，但没有超出人类专家能力范围的。甚至Mythos团队重点展示的一个演示漏洞，8个更小的模型也能检测到。大语言模型仍然依赖预测下一个token——它们没有进化成能够固有判断真伪、评估价值或设定方向的新物种。短期内人类审查仍然不可或缺。
AI工作的两个类别：执行与判断
Anthropic将AI工作分为两类：
- 执行： 编写代码、运行实验、修复Bug、创建报告——给定目标，AI能找出如何实现
- 判断： 决定哪些研究问题值得追求、判断结果可信度、知道何时停止或转向
当前模型擅长执行但判断力落后于人类。这个差距虽然显著，但可能比我们想象的缩小得更快。Anthropic观察到，随着Claude写代码越来越快，人类代码审查已成为新的瓶颈。
三种未来情景
- AI能力停滞： 即使AI进展放缓，现有工具仍将改变行业。100人的公司可以实现以前需要1000人的产出。
- AI持续增强，但人类设定方向： 公司成为人机混合体，效率爆发，但审查、验证和管理成为瓶颈。
- AI自主设定方向： 人类失去监督、验证或停止进展的能力，导致对模型完全失控。
Anthropic的建议是：人类应保留减缓或暂停AI发展的选项。值得注意的是其讽刺性——Anthropic是AI竞赛的领先玩家，一边踩油门一边警告危险呼吁限速。对此结论要有自己的批判性思考。
个人反思
一位Anthropic员工分享了一个有启发性的见解：当Agent顺利工作时，人类感到无关紧要因为自动化更快；当Agent失败时，人类仍然感到无关紧要因为无法理解Agent所做的复杂工作。这种二元性很有道理——每次你把任务委托给AI并且它做得又快又好，你就倾向于委托更多。但每次委托也降低了判断AI工作是否正确的能力。我们因为看似明智、理性的选择而让渡地盘，但当我们停下来检查时，发现自己已经失去了理解力。然而回顾每一步，又似乎都有道理。这就是我们与AI今天面临的迷人困境。
常见问题
AI自我改进现在真的在发生吗，还是仍然只是理论？
部分在发生。Claude编写了Anthropic 80%的代码——这是AI协助构建用于创造下一个AI的工具。但完整的"闭合循环"——AI在没有人类干预的情况下自主设计、训练和部署更好的模型——尚未发生。差距在于判断力：AI能执行任务但不能可靠地决定哪些研究方向值得追求或验证自身改进的正确性。我们处于情景2（AI增强，人类设定方向），而非情景3（AI自主设定方向）。
80%代码这个数字到底意味着什么？
这意味着Claude生成了提交到Anthropic仓库的大部分代码——但人类仍然审查、批准和合并这些代码。可以想象成高级开发人员把工作委托给非常快的初级开发：初级写大部分代码，但高级决定构建什么并检查工作。8倍生产力数字反映的是这种"人在回路中"的工作流，而非完全自主开发。Claude写的代码仍然经过人类代码审查、测试和验证。
我应该担心AI取代开发者吗？
数据表明AI更像是力量倍增器而非替代品。Anthropic的工程师现在生产力提升了8倍——他们没有被淘汰，而是被放大了。真正的风险不是AI取代开发者，而是不使用AI的开发者被使用AI的开发者超越。瓶颈正从编写代码转向审查AI生成的代码和做架构决策。代码审查、系统设计和批判性判断等技能正变得更有价值，而非更少。