Insights Scaling-与鹏飞老师聊了聊AI
终于跟多年网友鹏飞老师面基成功,我们聊了聊AI和人生,颇有启发分享如下
* AI的发展从pretraining Scaling到RL Scaling到Test-time Scaling
* 智能的牵引主要是解决更难问题和更快地解决问题,解决更难的问题是要定义好问题和给出好答案
* RL做的事可以理解成为数学物理等领域最前沿的专家,领域但凡深一点知识壁垒很大,造成领域a的难题基本没法通过领域bc去解决。test-time scaling重要的原因是可以将其理解成一个掌握全知的人很可能通过跨领域知识交叉创新解决掉目前人类无法解决的问题
* 碳基生命有限,AI可以突破时间智力的上限,更长时间思考一个问题,如果AI构建成高密度智力群且可持续思考就能做很多伟大事情,贝尔实验室和曼哈顿计划就是类似
* 如果某家机构先突破AI的智能奇点(解决了类似统一物理学定律之类级别的难题),横轴是Scaling算力,纵轴是科研发现数量,只要scaling算力,知识创新加速度会一直增加,第一名和第二名差距会被加速拉大
* 目前LLM加上多模态都会带来降智,先追求LLM智能上限是合理的,因为语言包含认知定义离智能更近。但未来的AI一定要全模态。AI本质上是在挖人类的智能,如果要解决复杂问题要跟物理世界交互,需要全模态支持
* 模型即产品,使用即标注,交互是被严重低估的。用户交互过程会提供美妙的标注数据。通用模型针对场景能完成80%的任务,还有20%是强交互的,这部分数据非常宝贵,Human+AI更好的合作会成为广泛应用的关键,技术和产品要co-design。
* 认知是很data efficient的,一条就能影响一辈子
* 厉害的人会寻找inference time scaling law的时间和空间。训模型让模型更聪明和带学生让学生更聪明有超级紧密相关性。GPT4o和O1在解决复杂事情上千差万别,而4o到O1要做的事很简单就是有一些独处时间去思考。
* 给聪明的学生一个目标就够了,中间Context不要太细,事后反而会超出预期
* CoT很重要要经常独处思考,打开腾讯会议录制,边板书边说出来,会发现思考深度比预期要深
* 关于鹏飞老师选择回国教职:人应该选择最擅长的事,承认自己的不足,人生很短要认清自己,在自己擅长的领域做好,剩下交给别人或下一代
#大模型 #AI人工智能