大道至简的胜利, 一个神级skill推荐, 忘掉brainstorming吧 - 开发调优 - LINUX DO
之前在这个帖子末尾留了个坑，现在来填上
先叠甲, 这篇文章我主要指的是 superpowers 和 GSD 这两个框架, 我知道站里的佬友们也做了一些很优秀的框架, 我对此非常的respect. 本文的核心不是为了批判, 主要是为了分享一些观点, 希望和大家一起探讨。
1. 现有框架的一个巨大的bug
这些十几万star的编程框架竟然没有一个有做过benchmark上的实际对比, 注意这可是以提升编程效率和质量为目标的框架, 却没有任何证据能证明这些框架比简单的提示词有更好的效果, 我之前在网上翻了半天, 真的没找到有人做个严谨的实验对比, 来证明框架的效果. 有佬们如果有看过具体的评测文章, 可以贴出来我们一起学习一下
正面例子如 PI 这个coding agent 在他的博客末尾所述, 一个最简单的coding agent也能在benchmark上取得不错的效果.
想要证明一个东西的效果, 我感觉我们还是需要一些严谨的对照实验吧。很多框架带来的只是虚假的热闹, 具体落到实际项目上能否产生正向的影响，还需要更多的证据。
2. 为什么这些框架大多是过度设计的
核心出发点：AI的上下文非常宝贵, 所以：
不应该让太多和代码无关的东西占据上下文. 之前深度使用了GSD, 刚上手时觉得很厉害, 流程一大堆，文档一大堆，调研一大堆, 随便问个小问题, context都被用掉了一半. 一个下午用掉了平常10天的token量, 最后产出东西会发现不一定能完全符合你的需求, 因为他在对需求这最重要的一步做的不够深入.
另外这些框架的skill很多一看就是AI生成的，长篇大论，一大堆废话，看着就头大，这些skill有没有经过人工的review都很难说，仔细看都有很多可以精简的地方。
比方说如果你想让模型按照TDD来开发, 你并不需要搞个上千字的skill给模型讲一遍什么是TDD, 什么红绿灯, 你只需要告诉模型"按照TDD来开发", 这就足够了, TDD是一个很经典的概念, 在他的知识库里，他是知道什么是TDD的, 不需要再浪费prompt去解释它。
之前在 grill-me 的帖子中，我就实际验证了, 简单的prompt反而能实现更好的效果。
3. 模型需要复杂的约束吗?
-
好的模型不需要过多的约束, 这就像如果你是老板，你底下有一个非常非常牛逼的程序员, 那你就不需要给他太多的指导, 不然就变成内行指导外行了
-
差的模型也不需要过多的约束, 因为模型本来就笨, 注意力本来就不集中, 再给他脑子里塞一大堆上下文, 只会让他的小脑瓜转不过来，丢三落四, 对于差的模型，更需要精简而清晰的指令. 就像你让一个小孩帮你做事, 肯定是一次只给他一个清晰的指令, 让他做一件小事, 效果是最好的
4. 复杂的框架并不一定适合你
AI发展到现在, 一切软件都趋向于定制化, 学习框架的成本可能高过让AI给你定制一套简单解决方案的成本. 看看GSD，没个半天时间都看不明白怎么用
5. 复杂的框架，长期来看大概率会成为绊脚石
随着模型更新，模型的长程执行能力也在持续增强，不用任何框架，一句话让模型跑几个小时早已不稀奇（可以参考GLM5.1上线时的报告）
从长期发展来看，随着AI能力变强，我们给他约束应该是越来越少的，这是AI软件发展的大势所趋，越来越多的能力会内化进模型，上层只需要薄薄的封装即可。回到编程上，也许我们提供最少的原则性的约束(如TDD)和适应项目的规范，可能就足够了
总结
“simple but work” 是一个非常值得追求的事情。
6 个帖子 - 6 位参与者