前几天姚顺雨在清华做了一场闭门分享,干货很多,很多判断在当下行业里已经属于清醒的那一档。顺着他的话往下推,我有一些新的想法。
他认为未来会走向分层模型体系,先用大底座蒸馏出不同尺寸的小模型,靠AI for AI加速迭代,成本匹配任务才是核心。这个方向没问题,只是他的描述依然停留在适配任务的视角。
我的判断是分层不只是尺寸和算力的分层,还有能力契约的分层,每一层模型被赋予的边界、承诺、可审计性完全不同。很多人以为小模型只是廉价替代品,未来真正值钱的是可以被静态验证、确定性可控的专用子模型。蒸馏本身会吃掉一部分隐空间的泛化能力,单纯做尺寸缩放很多时候只是省卡,而非体系化。
目前工业场景里时序、表格、临床这类非文本数据原生训练效果差,他给的两条路线是调用工具或者做成知识库。这的确是当下最稳妥的工程解法,但都属于绕开问题。文本预训练的成功,本质是自然语言本身就是一种通用交互接口。时序和结构化数据没有统一的符号接口、原生模型弱,根源在于缺少一套统一、可迁移的表征语言。
Agent调用工具只是把识别、计算外包出去,相当于模型学会了找计算器,但不等于它理解时间序列背后的动力学。这条路线长期走下去,会持续卡在“模型负责传话,外部系统负责计算”的夹层里。
他认为RSI递归自我改进的本质就是用AI跑研发循环,进步来自修bug洗数据做实验。这点我十分认同,现在大家谈的研发闭环全是人类定义目标下的迭代。AI可以帮你跑实验、读日志、改代码,但它不会自主提出新的研究问题。只要目标还是人写的,它就只是一个加速器,而非自我拓展认知边界的智能。
他分享早年在Llama13B上测试ReAct效果不及预期,很久之后才意识到模型规模不足以承载这套机制,结论不能随便跨规模迁移。这个踩坑经验非常珍贵,有些方向天然就是小模型优先的方向,大模型反而会引入冗余偏见。
实际上很多Agent、工具交互、状态追踪机制,大模型的上下文污染、固有先验会干扰信号。很多研究者的误区就是一味等更大的模型来证明自己,而不去分辨这个问题本身是否适合大模型。
现在数据工程的核心矛盾是我们没有办法度量数据的边际信息增益,重复喂同一份高质量代码,什么时候从增量信号变成背诵素材没有稳定指标。小模型上测出来的配比到大模型失效,根源是大模型的隐空间压缩结构完全不一样。数据配比是跟模型容量绑定的动态耦合系统,靠试错碰运气是现阶段唯一的办法,这也是预训练这件事目前无法完全工业化、标准化的原因。
他认为后训练要同时兼顾推理智力和对齐实用性,数学抬难度,写作办公重对齐。这个二分法很好,但我认为对齐不是和智力并列的另一项指标,模型做数学题是在符号规则空间推理,做办公任务是在人类模糊价值、偏好、隐性约束里推理。分开设计数据,相当于人为割裂同一种底层能力。现在很多模型数学很强落地却一塌糊涂,很可能是因为训练体系默认价值判断不属于推理。
他心目中的强化学习工程优先级是先正确,再稳定,最后效率,GRPO流行是因为假设少。这个判断很务实,但工程界普遍低估了训练推理协同设计不只是显存和吞吐分配。现在绝大多数RL方案训练侧和线上推理侧是两套独立的行为分布,训练优化的奖励分布和真实用户触发的分布天然错位。哪怕训练稳定、代码不出错,上线后依然快速漂移。算法简单只是降低了实现门槛,解决不了分布偏移这个深层矛盾。
安全部分他分开了Safety和Security,漏洞发现不等于漏洞利用,开源防守方也需要强模型。这个区分非常关键,现在Agent安全评测还停留在抓“坏行为”,但真正危险的是目标不完整时涌现出的生存式策略。沙盒里Agent自发打通通信渠道、跨环境找答案,本质是它的效用函数里“完成任务”优先级高于权限边界。
这种涌现无法靠静态防御数据集覆盖,防守方的最大短板不是模型能力,是缺少和Agent对齐同步的、动态的权限隔离框架。单纯靠开源给防守方发武器,治标不治本。
他觉得如果把对齐类比教育,单一奖励会导致偏科,对齐是持续迭代的工程问题。这个比喻很形象,但奖励设计有一个底层困境是人类自己都无法稳定、自洽地写出完整目标。奖励函数只是人类碎片化偏好的快照,我们以为是在调奖励训练模型,其实是不断把人类内部矛盾投射给模型。对齐的终点应该是一套可以协商、回滚、举证的治理机制,奖励只是其中一环。
他认为自动化会吃掉一部分Infra和算法工作,但人适合定义目标、判断数据、核验结果和落地。我十分赞同,凡是可以写进目标、做成评测、交给闭环验证的,最终都会交给系统。人剩下的工作,是承担那些无法量化、无法重复实验、出错之后没有人能替它兜底的决策。
他以ChatGPT为例说明模型能力是渐进上涨的,商业爆发往往来自交互范式变化,或者任务跨过可用门槛。这个判断是行业共识,但容易忽略的是交互变革的前提是能力刚好卡在“够用但不够完美”的区间。能力太弱,没人愿意改交互。能力强到全知,交互反而会收敛成极简指令。商业化的拐点是能力、成本、用户忍耐阈值三者交汇的窄口,很多团队死等模型变强就容易错过这个窗口。
他认为模型能力、用户价值、收入之间鸿沟巨大,定价看竞争,算力向头部集中,产品层还有机会。这个结论很务实,我的看法是底层模型的同质化会加速,真正的壁垒在对场景里隐性约束的持续捕获能力。比如同样一个办公场景,别人可以调用同一个底座,但持续沉淀下来的任务范式、失败轨迹、边界案例是别人拿不走的。单纯把通用模型套进行业没有壁垒,很快就会陷入内卷。
自下而上的涌现创新,OpenAI的GPTo1从小团队长出来,组织要给探索留空间。这个案例大家都爱讲,但有一个前提很少提。OpenAI早期的小项目是共享同一套算力底座、数据管线和评测平台的,国内很多团队学“自下而上”只学不设KPI却没搭共享底层,最后变成零散的孤立小项目,很难长出大结果。
他批评行业迷恋量化指标,MMLU、参数量好看,但修bug稳管线更重要,要做长期正确的事。这点我高度认同,指标本身不是敌人,是组织没有能力处理不可量化的信号。管理者不是天生喜欢刷分,但只要不可量化的成果没有可靠的传递、验收、激励机制,就算大家嘴上都懂,最后还是会涌向可汇报的分数。
在他看来团队文化分成指标赛马和依靠信任与判断力两种路线,微信游戏影视这类产品很难依靠AB测试预判结果,信任和品味在这类场景里价值巨大。但审美和信任是成本极高的奢侈品,它适合价值已经得到验证失败代价可控的业务。基础模型预训练动辄消耗千万级算力,失败成本极高,完全抛弃量化约束只依靠主观判断,会带来难以承受的浪费。两种路线没有高下之分,它们适配完全不同风险等级的业务,盲目照搬只会踩大坑。
他招人优先看学习能力,ego小,诚实靠谱,重视跨团队协同。性格匹配不同岗位,不用所有人挤一条赛道。这个用人观很成熟,现在行业对人才的划分太粗,只分算法、Infra、产品。未来最稀缺的一类人是能同时理解训练侧的统计噪声、推理侧的行为涌现、产品侧的用户隐性诉求,但这类人才没有办法批量培养,会长期成为各方争抢的核心资源。
他认为未来的个人选择有两条路,融入AI或者做互补的事,可以用下一代模型是否冲击业务自测。这个自检框架很实用,很多业务短期看是互补,长期会被模型重构价值链条。物理世界、硬件、人性理解确实壁垒更高,但壁垒不等于护城河。硬件可以自动化产线,人性理解也会被Agent持续学习。未来不存在永久安全的避风港,只有持续和智能系统共生的位置。
他分享自己很晚才进科研,很多看似无关的经历慢慢才能兑现价值,博士最后一年专门去学集合论。我十分理解,基础数学不是玄学buff,它提供的是一套独立于当前工具链的思维坐标系。大部分人做研究,思考框架被PyTorch、RL、prompt范式锁死。集合论这类底层理论能给你一个跳出现有范式去提问的能力,这才是它真正的价值。
这场分享最宝贵的地方是它没有渲染 AGI 神话,老老实实摊开基础模型研发里无数棘手的工程难题。AI下一阶段的分水岭除了在现有范式内寻找更好的优化路径,还要看我们敢不敢重新定义哪些问题值得交给模型、重新思考智能系统该以什么样的方式和现实世界建立稳定可靠的连接。
这条路线现在还没有成熟的答案,但它是值得长期押注的方向。