躺在床上突然在想，现在的ai coding似乎都是人类去提出一种结构化的思维方式(无论是skill，harness设计，等等)，实际上都是人类在设计围栏，设计CoT，设计ai推理和思考的方向和规范，那能不能让ai在处理某些较大的任务的时候先自己设计一套思维方式，设计一套围栏呢？世面上现在比较流行的开源项目是Hermes，说是自进化，但实际上不过是事后去造一大堆一次性的skill(妄图在以后的工作里复用，但往往没有那么简单)。
深入去想的话，大概还有以下问题可能存在：
1：是否需要更高层围栏？如果没有，可能会出现无限的自我合理化
2：操控权移交问题。我想自动化用多了的开发者都能感受到自己对项目的控制权的丧失，非常容易出现不清楚项目的现状，不清楚项目的细节，不明白项目是否在正确的轨道上的情况
3：如何去落地这种通用的自设计harness？
4：是否有足够多且快速的反馈用于判定这种自设计是否成功（如果能实现多而快速，也许模型训练本身就应当加入）
5：经验污染问题。当一个错误的经验被沉积下来，会在悄然间迅速污染整个项目甚至是全局的模型
6：安全问题会被放大（因为更多放权，这是必然的）
也许是个不错的方向？期望能在GitHub上看见相关的项目…某种意义上，我认为这是一种必然，毕竟这是趋势。
10 个帖子 - 4 位参与者
来源: LinuxDo 最新话题查看原文