前天和昨天各看和听了一遍这个访谈，强烈推荐大家去看或者听一遍
以下是个人认为比较精华的一些对话：
一、关于老登
-
AI个人英雄主义时代已经过去了，所以也没有什么英雄，有时候甚至觉得旧时代英雄有点蠢。
-
人这一辈子也没多长，为什么要把自己的时间浪费在伺候老登身上？
-
没有哪个老登是你的亲属，所以你觉得他傻，他就是傻，就可以直接说他傻。无所谓的啊。（笑）
-
我觉得人年纪大了，不一定会变成老登的。人年纪大了会变成两种状态：一种状态叫做德高望重，就是他少指手画脚，还会花自己的力气去培养年轻人。另一种人就是老登，就自己也不懂，还爱指手画脚。
二、个人成长
-
要做有比较客观评价标准的事，要做对这个世界能够产生影响的事。
-
你不用太担心因为自己的观点而惹到什么人。只要你的观点是自洽的，不是说随便喷人，你是有一套自己的理解。最终你在这个领域做的怎样，是有客观评价标准的——大家是会尊重你的。
-
我觉得直接表达自己的想法，是一个短期一定会有人恨你，但长期大家会欣赏的事情。
三、AI行业现状与认知
-
Idea is cheap。想法是便宜的。很多想法，显然所有人都知道。难的是怎么把它变成一个一个小的、可实现的步骤，做出来。
-
现在大家都是冲浪的人，本质上是那个浪，而不是你那个冲浪的人。
-
AI这个事，本来也不太需要脑子——真的不太需要脑子——我觉得都是一些本科生就能干的活。这个行业最重要的特质，就是靠谱，就是做事细，对自己做的事情负责任。
-
为什么我一直爱把这个和18世纪的物理学做比较？它更像那个时代的物理。那个时代理论和实验不分家，没有什么理论物理学家、实验物理学家，你就是搞物理的。你自己可以做实验，也可以做理论推测。AI就有点像那个时代。就像现在，大家不能理解language model（语言模型）里，哪一个矩阵元是在干什么。但是不妨碍你有好的经验定律，比如热力学的各种定律，和现在的各种Scaling Law。从这个角度来说，它是类似的。但反正就感觉AI这个事，本来也不太需要脑子——不太需要脑子，真的不太需要脑子。
-
我觉得纯做语言模型，已经不是一个蓝海了。晚了，末班车已经发车了。我感觉我入行就是那个末班车啊
-
我觉得，产品经理还是目前挺难被AI取代，会有一些个人英雄主义的机会。
四、问答节选（未改编原对话）
1、技术范式平台期
张小珺： 在你看来，预训练和后训练作为两个范式，都没有达到它的平台期？
姚顺宇： 我觉得都没有。但你说要去预测到了多少，这个做不到~~。~~到达平台期有两种可能性。一种可能性是技术本身到达了，你明明还有想让模型要干的事，但这俩技术就死活教不会了。另一种可能性是，你想干的事到平台期了。我觉得现在就是后者。
2、DeepMind前沿工作方向
张小珺： 接下来说说你到了Google DeepMind以后的工作吧。重心发生变化没有？
姚顺宇： 还是发生了一些变化。我自己主要在做ML coding，和一些比较long horizon的事。
ML coding，主要就是想要实现这个完整的AI自己训练自己的历程。当然过程当中有很多实际的问题、细节要去解决。大的方向上来说，大家比较有共识该怎么去做。但还是回到细节，细节上有很多要处理。比如怎么样去选取合适的data，怎么样去选取合适的回馈信号，以及它又带来新的基础设施的挑战。现在就是要把这些事情慢慢摸清楚。
像long horizon，想要能够实现，模型能够——还是那句口号：train with finite, but use as infinite（用有限的上下文训练，但用起来像无限的上下文）。我觉得想要把这个训练的长度一直变长，可能并不是单个训练语段的长度一直变长，那不是很现实的方案。但现实的事是，你如何在有限的context下，去做更长的工作？人就是这个样子。人的context很短很短。
人本质上context很短，但他能够选择性的遗忘，选择性的去retrieve（检索），把重要的、跟当前场景相关的信息再抓回来。
3、关于AI行业核心能力
姚顺宇： 但反正就感觉AI这个事，本来也不太需要脑子——不太需要脑子，真的不太需要脑子。
张小珺： 那需要什么？
姚顺宇： 我觉得这个行业最重要的特质就是靠谱，就是做事细，对自己做的事负责任。这是最重要的特质。
4、AI人才筛选与靠谱标准
张小珺： 很多公司也想招AI的人，你觉得最重要的特质是靠谱，这个有什么衡量指标？——怎么能够快速判断一个人靠不靠谱、做事细不细？
姚顺宇： 每个人都有一些自己衡量的方法。我也有一些自己的trick（诀窍）。
我以前有出一道面试题。面试题很简单，就是需要这个人在24小时之内，完成一个强化学习的项目，从0到1。我告诉他有的资源是什么样的，他自己选用什么样的模型、用什么数据、用什么样的算法，把这个模型训出来。24小时之内。24小时结束之后，他会跟我有一个小时的讨论。
这个事儿在AI时代没有那么难。没有AI时候，这是不可能的，没有人能在24小时之内把它做出来。但有AI之后特别简单，因为AI能帮你全套做。
但为什么还要做这个事儿呢？设计成这样的两个原因：一个原因是因为在这个时代，还去考察别人代码写得好不好，其实没用。绝大多数人都不用自己写代码。更重要的是，他能不能有效地利用AI。这是考察的一个方面。
第二方面是，这个事有一个陷阱，如果你全盘让AI做了，但你最后没有试图好好理解AI为你做了什么，那在一个小时的讨论里面会露馅儿——那是一个会挂人的地方。
所以说考验的另一件事，是你有没有真的和AI形成了协作，还是说你就全权扔给他？那个是我个人很看重的事，也是这个人是不是做事靠谱的一部分。
当然这个题目的设计本身，也有一些比较阴暗的巧思。为什么设计成24小时，就是为了看这个人有多看重这个机会。
张小珺： 能熬夜？
姚顺宇： 对，哈哈哈。如果他足够熬夜，他就能撑住这24个小时。如果他撑不住，那只能说，他可能对这个机会也没有那么看重。哈哈。
5、行业个人英雄主义与集体主义
张小珺： 我每次问你，你都会说这是“集体的贡献”。
姚顺宇： 嗯。这不是一个个人英雄主义的时代。
张小珺： 什么时候是个人英雄的时代呢？——可能在Transformer的那个时刻？
姚顺宇： 在那个技术还没到scale up那个点之前，找到了那个技术的人，可能是一个英雄。或者找到那个技术的一个小团体，可能是个英雄。找到那个技术之后，很长一段时间，从模型侧来说都是集体主义。就是这个集体能不能一起工作，能不能为了一个目标，一起花自己的时间、自己的精力，这个是最重要的事。而不是每一个个人，提供了什么样的东西。
5 个帖子 - 3 位参与者