AI极差的零回归率说明了什么，AI写的是屎山吗

编辑部 2026-05-04T15:03:58.374648 6833 阅读 tech

中山大学和阿里巴巴联合测试 2026 年 3 月 4 日中山大学、阿里巴巴集团联合搞了一场AI测试。他们先从 GitHub 上筛选真实 Python 项目，选取了 100 个样本，来自 68 个不同仓库，平均每个样本跨越 233 天、71 次连续提交。然后通过不断给AI提出需求来测试AI的代码生成能...

中山大学和阿里巴巴联合测试

2026 年 3 月 4 日中山大学、阿里巴巴集团联合搞了一场AI测试。他们先从 GitHub 上筛选真实 Python 项目，选取了 100 个样本，来自 68 个不同仓库，平均每个样本跨越 233 天、71 次连续提交。然后通过不断给AI提出需求来测试AI的代码生成能力，整个测试包含了国内外主流的20 个模型，来自 8 个提供商，测试消耗了超过 100 亿 token。

最主要的是，测试中发现大多数模型的零回归率低于25%，即便是在这方面最好的两个 Claude Opus 模型也只才堪堪超过50%。
所以这也就是为什么说AI写的是屎山代码，为什么说AI的能力极限在于所开发软件的架构设计的好不好

零回归率的概念

零回归率指的是：“AI 在修改过程中有没有把原来正常的功能改坏”。例如 100 个任务里有 30 个任务没有出现任何旧功能退化，那么零回归率就是 30%。

1 个帖子 - 1 位参与者

阅读完整话题

来源: linux.do查看原文

AI 极差回归说明什么一个帖子使用

AI极差的零回归率说明了什么，AI写的是屎山吗

中山大学和阿里巴巴联合测试

零回归率的概念

[问与答] 大疆 Pocket 4 好难抢，是饥饿营销还是真缺货？

简化无人机飞行报备流程，四川“扫码飞”第二批试点空域上线

相关推荐