从the bitter lesson看llm未来发展

编辑部 2026-05-05T13:18:36.183937 28049 阅读综合

The Bitter Lesson（苦涩的教训）是强化学习之父理查德·萨顿（Rich Sutton）在2019年提出的著名定律：人类企图走捷径教给AI的每一点技巧，最终都会被AI通过最暴力的算力自我进化所吸收并超越。在llm时代这个定律依然在得到印证：比如我们在23年的时候还在把思考过程写到pr...

The Bitter Lesson（苦涩的教训）是强化学习之父理查德·萨顿（Rich Sutton）在2019年提出的著名定律：人类企图走捷径教给AI的每一点技巧，最终都会被AI通过最暴力的算力自我进化所吸收并超越。
在llm时代这个定律依然在得到印证：比如我们在23年的时候还在把思考过程写到prompt里，25年的deepseek r1就把思考纳入了模型里；增强模型对具体知识掌握的RAG也在被engram这种方式纳入模型内部。
那么，现在龙虾等智能体试图解决的记忆问题也会在未来被纳入到模型里，也许是某种运行时的再训练方法来内化成模型权重？到时候每人的llm也将不同，就像personal computer一样，会有personal llm出现？

2 个帖子 - 2 位参与者

阅读完整话题

来源: linux.do查看原文

从the bitter lesson看llm未来发展

GoPay都被搞得请求429了

大气中的微塑料促进全球变暖

相关推荐