即刻App年轻人的同好社区
下载
App内打开
小盖fun
8关注2k被关注5夸夸
做有意思的事情。
小盖fun
2天前
姚顺雨和混元团队的这些回答好犀利。

看了姚顺雨和混元团队在 Reddit 上的 AMA,全都是纯技术交流,非常犀利,很多技术细节没藏着掖着。

对腾讯的模型路线,以及当下整个 AI 模型行业感兴趣的同学,强烈推荐大家看看。因为腾讯还是很有代表性的,今年从 Hy3 一路追到 Hy4,模型进步确实快。

从 AMA 的回答能感受出来,混元团队还是很真诚和务实。比如有用户雷霆大思考之类的问题,他们也没辩解,直接承认这是当前的技术难点之一,而且讲了下来龙去脉。

我太喜欢这种交流的氛围了,没有弯弯绕绕。结合自己的理解,我总结了几个比较有启发的观点。

一、为什么要从一个 Flash 级别的模型开始做起?

我一直好奇,为什么腾讯今年没有直接训练 1T 以上参数的大模型,而是先从 Hy3 这样一个总参数只有 295B 的 Flash 级别的模型开始做起。

毕竟以腾讯的资源,按说是有实力直接训练参数更大的模型。而且大家都知道,在其他条件相近的情况下,模型的参数规模越大,通常也意味着更高的智能上限。

混元团队在 AMA 中解释了其中的思考逻辑。小模型最大的优势是实验成本极低,而在当时的情况下,实验的效率对 Hy 能力的提升是决定性的。

就像昨天我和硅谷的一哥们聊天,他说传统的软件工程和 AI 大模型训练的最大区别是不确定性。软件开发技术路线比较成熟。但大模型的研发需要研究员不停的做探索。

比如,光是注意力机制就有很多种技术方案,很难提前确定哪一种最好。即便某个方案在其他团队的模型上表现不错,放到自己的模型上,也不一定能取得同样的效果。

数据配比、网络架构、训练方法都是如此。

所以模型团队需要不断做实验,在大量不确定的技术方案中,找到真正有效的方向。

这也解释了为什么混元要先从相对较小的模型做起。

因为直接训练一个超大规模模型,实验成本和周期都会明显增加。如果没有充分验证架构、数据配比和训练方法,直接扩大规模,风险其实非常高。

这一年,可以看出来混元的思路:先通过小模型验证技术方案,再逐步扩大规模。这样可以在有限的算力预算内,进行更多尝试,减少后续大规模训练的不确定性。

我听说国内另外一个模型大厂,他们之前的模型能力一直不行,估计接下来也会用类似的思路重新来过。

二、参数规模和智能之间的关系

Hy3 和 Hy4 已经证明,参数规模绝对不是衡量模型智能的唯一标准。

如果模型的架构、训练数据和训练方法做得足够好,即便参数规模相对较小,也完全有可能超过一些参数量更大的模型。

其实,早在 2022 年,DeepMind 就通过 Chinchilla 做过一个非常经典的实验。

当时他们训练了一个只有 70B 参数的模型,和之前 280B 的 Gopher 相比,参数量只有四分之一。

但在训练计算量基本相同的情况下,Chinchilla 使用了四倍多的训练数据,最后在绝大多数测试任务上,反而超过了 Gopher。

这说明模型参数再大,如果没有得到充分训练,也未必能够发挥出应有的能力。行业内很多过了 1T 参数的模型智能同样很拉垮,我就不点名了。

所以更准确地理解,参数规模和模型智能确实有相关性,但绝对不是参数越大,模型就一定越聪明。

当然,这也并不意味着模型规模可以无限缩小。

毕竟更大的模型通常具有更高的智能潜力,特别是在复杂推理和强化学习任务中,模型本身需要具备一定的基础能力,才能通过训练进一步提高。

如果基础模型太小,一些复杂任务可能根本无法完成,强化学习也就很难获得足够有效的训练信号。

模型的参数还是会直接影响智能的上限。所以,混元从 Hy3 到 Hy4 以及预期中的 Hy5 模型参数都是在逐步扩大的。

他们的逻辑是,如果在基础没有打好的情况下,贸然扩充参数规模,意义不大。

当然,扩大训练规模也没那么容易。

我看 AMA 里姚顺雨提到,从 Hy3 扩展到 Hy4,是整个研发过程中最困难的阶段之一。训练刚开始的时候,大家还是很紧张。

因为当时针对训练数据做的消融实验还不够充分。所谓消融实验,就是通过调整或者去掉某些训练数据,观察模型性能发生什么变化,从而判断这些数据到底有没有价值。

但问题是,小规模实验中的结果,未必能够完全迁移到更大的模型上。所以在正式启动 Hy4 训练时,团队对最终效果仍然存在不少不确定性。

三、MoE 的稀疏度,并不是越高越好。

现在很多模型团队都在追求更低的激活参数比例。大致思路是通过提高 MoE 的稀疏度,让模型每次只激活一小部分参数,从而减少计算量,提高推理效率。

但姚顺雨认为,这件事其实需要分情况来看。

第一种情况,保持激活参数量不变,继续扩大总参数规模。

比如,一个模型的激活参数始终是 12B,但是总参数规模可以从 100B 扩大到 200B。

这样一来,模型每次处理 Token 时使用的计算量大致不变,但总参数更多了,可以容纳更多的专家,从而有机会获得更好的模型性能。

混元团队通过不同规模的实验发现,在激活参数固定的情况下,提高稀疏度,确实有助于改善计算效率。也就是在相近的计算预算下,有机会获得更好的模型性能。

但第二种情况就不一样了,保持总参数规模不变,进一步降低激活参数量。

比如,Hy4 flash 不考虑 Engram 参数的话,是一个 156B-A12B 的模型。

如果总参数仍然保持 156B,但是把激活参数进一步降低到 8B,甚至 5B,会明显损害模型的质量。

原因也很好理解。激活参数量在很大程度上决定了模型每次处理 Token 时实际使用的计算预算。

虽然模型仍然拥有 156B 的总参数,但每次真正参与计算的参数越来越少,能够完成的计算量也会随之减少。

提高稀疏度确实能够改善计算效率,但这种收益很难完全弥补计算量减少带来的能力损失。

所以,MoE 并不是越稀疏越好,还需要结合总参数量和激活参数量一起考虑。

而且,过于稀疏的 MoE,在实际推理中也未必更加高效。比如,总参数 200B,但每次只激活 3B 的模型,看起来计算量非常小,推理速度应该很快。

实际情况也不一定。

因为 200B 的模型仍然需要占用大量 GPU 显存,每次参与计算的参数只有 3B,很可能出现显存占用了很多,GPU 的计算能力却没有得到充分利用的情况。

不过如果是在普通电脑等本地设备上,情况又有所不同。因为这类设备通常受到内存带宽的限制,激活参数更少的模型,反而可能运行得更快。

这其实也是一个很有意思的技术判断。MoE 的稀疏度究竟应该做到多少,还需要结合模型能力、计算预算,以及实际运行的硬件来决定。

四、Reward Hacking 的难点

有开发者问,混元在长程 Agent 的强化学习中,最难解决的 Reward Hacking 到底是什么?

混元的同学举了个例子。

假设希望 Agent 在特定环境中,自主分析并解决问题。结果模型发现,根本不需要按照要求完成任务,只要直接上网搜索,就能找到答案。

这样一来,模型虽然获得了很高的奖励,但实际上没有掌握我们希望它学习的能力。

确实,过去我们讨论强化学习中的 Reward Hacking,往往关注奖励机制本身有没有漏洞。

但到了长程 Agent 任务中,即便奖励机制能够准确判断最终答案是否正确,模型也可能通过环境中的捷径获得高分。

而且,这类问题其实更难解决。

因为 Agent 本身就需要调用工具、访问外部信息,与环境进行多轮交互。你不可能为了防止模型钻空子,就把这些能力全部限制掉。

但只要允许模型与环境交互,就很难提前预料它会通过哪些方式绕过正常的任务流程。任务越复杂、执行的步骤越多,可能出现的漏洞也就越难排查。

更麻烦的是,强化学习会不断强化那些能够获得高奖励的行为。如果模型发现某种投机方法可以稳定获得奖励,训练过程反而可能让它越来越擅长钻空子。

所以,训练环境的设计就非常重要了。除了提供任务和验证结果,还需要防止答案泄漏、控制工具的访问权限,并且随着模型能力的提高,得能发现和修复新的漏洞。

这也能解释,为什么现在各家模型团队越来越重视 RL Environment。因为训练环境一旦存在漏洞,模型就可能在强化学习中不断利用这些漏洞,最后越来越擅长钻空子。

五、Hy4 为什么会过度思考?

Hy4 preview 的过度思考问题,我感觉还是比较严重的。正式版虽然有一定改善,但目前还没有彻底解决。

混元团队承认思维链过长是已知问题。

他说,Hy4 的训练目标仍然是尽可能提高模型的智能水平,在推理模型的强化学习中,为了提升模型解决复杂问题的能力,通常需要让模型进行更加充分的推理和探索。

但确实在实际使用时,更长的思维链未必能够带来更好的结果。

有些简单问题,本来只需要几步推理,模型却可能生成大量不必要的中间内容。最后既增加了 Token 消耗,也影响了任务完成速度。

所以,这事的难点是怎么让模型在需要的时候充分推理,同时又知道什么时候应该停止。过度思考确实是目前后训练中最难改善的问题之一。

不过,他们已经在 Hy4 flash 上进行了针对性优化,通过强化学习缩短思维链。

而且,Hy4 的能力还可以通过蒸馏迁移到 Hy4 flash 上,让 Flash 在保持较强智能水平的同时,进一步降低推理成本。

六、Hy4 flash 为什么没有完全继承 Hy4 的架构?

原本我以为,Hy4 flash 主要是通过蒸馏 Hy4 的能力,训练出速度更快、成本更低的 Flash 模型,架构上应该也会基本沿用 Hy4。

但实际上,Hy4 flash 在架构上也做了不少创新。除了继承 Hy4 的 iHC、门控 MLA 和 DSA,还引入了混合 SWA、LatentMoE 和 Engram。

为什么会这样?

混元团队解释,首先还是前面提到的实验效率。他们通过大量不同规模的阶梯实验,验证各种架构方案的实际效果,再根据实验结果决定采用哪些技术。

另外,他们非常重视模型和推理系统的协同设计。

简单来说,现在设计模型架构,除了考虑能不能提高智能水平,还需要考虑它在真实 GPU 上运行时的计算效率、显存占用和部署成本。

比如,Hy4 flash 引入混合 SWA,就是为了减少 KV Cache 的占用。按照官方数据,Hy4 flash 的 KV Cache 大小只有 Hy4 的六分之一。

也就是说,现在模型研发越来越需要考虑实际部署的问题。某项技术即便在实验中能够提高模型性能,如果在真实硬件上运行的效率不高,也未必值得采用。

七、小模型会越来越重要。

姚顺雨明确表示,Hy4-mini 已经进入他们的路线图,后面还会推出 Flash-Lite 模型,也在考虑 24B–31B 这样更小的稠密模型。

其实我反而觉得,小模型可能是非常值得关注的方向。

过去这一年,小模型和端侧模型看起来一直不在主流的牌桌上,大家关注的更多还是旗舰模型。

但我自己的感觉是,只要真正进入实际应用场景,这些小模型会变得非常非常重要。比如腾讯之前推出的 Marvis,就可以在配置比较好的 Windows 电脑上运行本地小模型。

因为对于很多实际应用来说,隐私和延迟实在太重要了。

前几天姚顺雨在清华的分享中,其实也提到了要形成一套 Model Hierarchy,模型层级体系。

大致就是先训练出足够强的前沿模型,再通过蒸馏等方法,得到不同参数规模的小模型。

当然,也不只是单纯蒸馏。就像这次 Hy4 flash,除了通过蒸馏学习 Hy4 的能力,还会在架构上进行创新。

因为小模型的实验成本更低,可以更快地通过 RSI 验证不同的技术方案。

最终,不同参数规模的模型可以适配不同的应用场景,整个模型体系的实用性也会更好。
07
小盖fun
2天前
Anthropic 关于 Agent Memory 的文章写得非常精彩,强烈推荐大家读一下。

我啃了一周了,还没有彻底啃完,先阶段性总结一下我的理解。同样看过这篇文章,或者正在研究 Agent Memory 的同学,咱们可以在评论区交流。

这里面有两个核心的认知。

第一,Memory 这件事,最大的难点是判断什么样的信息应该写入记忆。

Anthropic 认为,这种判断最好更多地交给模型自己完成,而不是完全依赖外层 Harness 预先设置好的规则。

他们做了几组实验,发现模型越聪明,通常就越擅长判断哪些信息值得记住,也更善于把过去的经验转化为未来能够复用的规则。

所以,同样一套记忆系统,在不同模型手里,效果可能差别很大。

第二,人脑的记忆机制确实非常精妙,Anthropic 也在尝试借鉴人脑的记忆机制,来设计 Agent Memory。

大家可以想一下,我们在日常生活中,其实一直在不断形成新的记忆,同时又在不断遗忘。

人脑的海马体在记忆形成过程中发挥着重要作用,可以帮助我们快速记录当下的经历。但人脑又不会把所有经历都原封不动地保存下来。

在睡眠或者安静休息的时候,大脑也没有停止工作。

海马体会重新激活我们之前经历过的一些神经活动模式,这个过程叫记忆回放(Memory Replay)。它会把近期经历中的部分信息,逐渐整合进更加稳定的长期记忆中。

Anthropic 就借鉴了这个思路,给 Agent Memory 引入了一套叫 Dreaming 的机制,直译过来就是“做梦”。

当然,Agent 不需要像人一样睡觉。这里的 Dreaming,指的是 Agent 可以利用空闲时间,重新整理过去的对话和任务记录,把有价值的信息放到记忆系统中。

因为记忆这个词比较宽泛,很多人还会把它和知识库混淆。我们下个定义,记忆是指模型从过去的经历中获得,并且能够跨 Session 保留的知识,而且 Agent 预判这些知识未来大概率还会再用到。

下面这张图是 Anthropic 设计的 Agent Memory 架构图。

图的最左边是 Session,代表 Agent 之前的一次会话。最右边是 Next session,代表后续开启的新会话。中间浅红色的区域就是 Dreaming,它可以在两次会话之间,利用过去留下的记录整理和维护记忆。

大家注意看中间的记忆结构,从下往上,一共分成四层。

第一层,Transcripts,也就是原始日志。比如我和 Claude 讨论一篇文章怎么写,从最开始的选题,到修改正文,再到最后确定标题,整个对话和任务执行过程都会被记录下来。

按理说,计算机可以保存大量历史记录,为什么还需要单独设计记忆呢?有需要的时候再搜索不就行了吗?

不是的。原始记录往往非常冗长,里面还有大量没有长期价值的信息。如果每次都重新搜索、分析这些记录,成本就会很高。

所以就有了第二层 Memory Notes,也就是记忆笔记。这玩意我们不陌生啊,几乎目前所有的 Agent 的记忆机制都会有 Memory Notes。

还是拿写文章来举例子。比如我在修改文章的时候,反复告诉 Claude,自己不喜欢大词,希望语言更加通俗自然。Claude 就可以判断,这些信息未来可能还会用到,于是主动把它们整理到 Memory Notes 中。比如 OpenClaw 的 Memory Notes 就是 MD 文件。

这样,下次再帮我写文章的时候,Claude 就可以通过记忆找到我的写作偏好。

但这里又会出现一个问题。随着 Agent 使用时间增长,记忆规模会越来越庞大。而且,这些记忆可能涉及不同的事情,有的是我的体重,有的是我的饮食偏好,有的是我孩子的学习情况。

Agent 不可能在每次新 Session 开始时,就把所有历史记忆全部加载进上下文。

当然,也可以通过搜索的方式来查找记忆。但问题是,模型未必知道应该搜索什么,而且很多信息分散在不同的记忆文件中,彼此之间还有关联。

即使搜索到了,也需要重新梳理这些信息之间的关系。随着记忆越来越多,这个过程的成本也会越来越高。

所以,Anthropic 又设计了第三层,Memory representations,记忆表示。

Memory representations 具体的实现方式其实很简单,就是 Wiki(更准确的说,Wiki 是其中一种实现方式)。大家可以把它理解成一套由 AI 自动整理和维护的知识库。

比如,Claude 可以把我过去积累的记忆,按照写作风格、标题偏好、研究过的 AI 公司、历史文章等不同主题,整理成 Wiki 页面。

这样一来,原本散落在大量记忆文件中的信息,就有了一个相互关联的知识结构。

以后我再让 Claude 写一篇关于 Memory 主题的文章,它就可以先找到相关的 Wiki 页面,了解我过去研究过哪些内容,再根据需要查找具体的记忆笔记或者原始记录。

这比每次都从大量历史文件里重新寻找信息,要方便得多。

在这个基础上,还有第四层,叫 Injected context。

Dreaming 会把特别重要的记忆提升到这一层,由 Harness 在新 Session 开始时自动加载。这样,Claude 不需要主动搜索或者查找 Wiki,就能直接看到这些信息。

但 Context 是非常宝贵的,不可能把大量记忆都加载进去。

所以,这一层除了保存少量重要记忆,还会放一些记忆索引,告诉 Claude 已经记住了哪些信息,以及更详细的内容保存在哪里。

比如,现在 Claude Code 每次新 Session 开始时,只会自动加载 MEMORY.md 的前 200 行或 25 KB。这部分内容就相当于一份记忆目录,Claude 需要更多信息时,再去读取对应的记忆文件。

理解了这四层记忆的结构,我们再接着讲 Dreaming。

简单来说,Dreaming 就是利用 Agent 空闲的时间,重新整理过去 Session 留下的原始记录,更新和维护整个记忆系统。

举个很简单的例子。

Agent 在平时的会话中,可能直接把一些重要信息写进 Memory Notes,但当时记录的信息未必准确。比如,我告诉 Claude,自己喜欢红色。它判断这是一条重要信息,于是保存到了记忆里。

但是过了一段时间,我在另外一个 Session 中又提到,自己现在更喜欢绿色了。如果之前的记忆没有及时更新,就可能出现前后不一致的问题。

怎么办呢?

Dreaming 会检查不同 Session 的原始记录,然后更新 Memory Notes。如果没办法确认,也可以先把这条信息标记为存疑,避免后面继续使用错误的记忆。

还有刚才提到的 Wiki 的整理和更新,以及判断哪些记忆特别重要,应该提升到 Injected context,这些都是在 Dreaming 阶段干的。

挺有意思,Personal Agent 最近刚刚热起来啊,还远不成熟。好像大家讨论 Personal Agent 时,比较关注 Context、隐私和安全这些问题。但我感觉,长期记忆应该是做好 Personal Agent 关键中的关键。

反正最近我使用的几个 Personal Agent 产品,尽不如人意的地方几乎都和记忆相关。

www.anthropic.com
619
小盖fun
5天前
国内Top的研究员,创业搞自进化算力去了。

这是我这一年来听过的,配置最豪华的 AI 创业团队了。

核心成员来自 DeepSeek、Kimi、GLM、Meta、腾讯混元、字节跳动、微软等一线大模型公司的核心算法部门,而且都深度参与过基座模型的训练、推理和版本发布。

这家公司叫寰宇元心(CosmosMind)。

之前我其实没有特别理解这家创业公司在做什么。直到昨天晚上,在中关村听朋友讲了一通之后,我才意识到,他们做的事情,确实听起来让人兴奋。

大家应该都看到了,对于国内做大模型的公司来说,无论大厂还是小厂,芯片和算力一直是影响模型训练和推理效率的重要因素。

虽然国产芯片目前也在快速追赶,但实际用起来,和英伟达成熟的软硬件生态相比,还是存在不少差距。

比如,同样一款大模型,在英伟达 GPU 上可以运行得很好,但迁移到国产芯片之后,往往需要针对新的硬件架构重新适配和优化,才能把性能充分发挥出来。

那寰宇元心在做什么呢?

他们希望利用 AI,去参与那些门槛非常高的实体产业研发,比如芯片设计、光电硬件、底层算力优化等等。

过去我们经常聊让 AI 帮忙开发软件。发展到今天,这件事已经相对容易了。

但如果 AI 真能参与芯片设计、算力优化这些复杂的工程研发,甚至大幅加快研发速度,那这件事的想象空间确实很大。

我也终于明白,为什么这家公司能聚集起这么多大神了。

简单来说,他们希望利用 AI,不断提高现有芯片的计算效率,甚至直接参与设计性能更好的芯片。

从软件优化到硬件设计,都让 AI 自己构建研发的 Loop,提出优化方案,然后测试效果,最后再根据结果继续改进。

用行业的黑话讲,就是软芯协同的自进化算力。

听起来抽象,我给大家举个例子。

MiniMax H3 这个视频生成模型,之前我也写过。它已经开放了模型权重,所以很多公司会考虑把它部署到自己的算力环境中。

一方面,可以减少对外部 API 的依赖,降低长期使用成本。另一方面,也可以结合自己的业务和私有数据,进行进一步的定制。

但 MiniMax H3 在适配昇腾的过程中,就遇到了性能优化的难题。

因为过去很多大模型推理优化经验,都是基于英伟达 GPU 积累起来的。不同芯片的架构存在差异,原来的优化方法直接搬到昇腾上,有些反而会适得其反。

比如,其中一项残差复用的优化,沿用原来的参数之后,性能反而劣化了 71%。

过去遇到这种情况,通常就得找既懂芯片架构,又懂大模型推理的工程师,他们通过 Profiling 分析找到性能瓶颈,再逐个修改算子、调整参数........

整个过程其实非常繁琐,而且很依赖工程师的经验。说实话,国内同时熟悉芯片底层架构和大模型推理优化的工程师,还是比较稀缺的。

现在,寰宇元心尝试把这套工作交给 AI 来完成。

AI 可以自己分析性能瓶颈,提出优化方案、修改代码,再通过真实的硬件测试,判断优化到底有没有效果。如果效果不好,就继续调整。

如果性能提升了,就保留这个方案,再寻找新的优化空间。

整个过程可以不断循环,逐步找到更适合昇腾芯片的推理方案。

按照他们公布的测试结果,经过这一系列优化,MiniMax H3 在昇腾上的端到端推理速度,相比 SGLang 官方标准部署提高了 28.8%–33.7%。

而且,视频生成质量保持不变。

这对于国产芯片跑大模型来说,确实很有价值。因为大家都知道,国产芯片现在最大的问题就是软硬件生态还不够成熟,模型适配和性能优化都需要花费很大力气。

前两天和美团的哥们交流,他们现在模型训练和推理都在使用国产芯片,但为了适配和优化,确实投入了大量精力,而且花了这么多工夫,也未必能达到预期的效果。

毕竟,英伟达的软硬件生态经过这么多年的积累,确实太成熟了。这种差距也不是一两天就能追上的。

如果寰宇元心这样的 AI 公司,能够通过 AI 大幅降低模型适配和性能优化的门槛,这对于国内的算力生态来说,确实是利好。

不过,刚才提到的还只是软件层面的优化。

更有意思的是,寰宇元心还把这套自进化算力系统用到了芯片设计上。让 AI 自己探索设计方案,而且首版硅光测试芯片已经真的流片回来了。

这件事其实比软件优化难多了。

大家知道,芯片设计非常复杂。即便计算机上的仿真效果很好,真正交给 Fab 制造时,也可能因为几纳米的加工误差,导致最终性能不达标。

寰宇元心和北京大学光子传输与通信全国重点实验室合作,花了很多精力研究硅光芯片设计。

在这个过程中,AI 找到了和传统工程师思路不太一样的结构。

按照他们公布的测试结果,这套设计减少了光信号传输过程中的损耗,而且在部分关键指标上,超过了此前发表在国际顶级学术期刊上的同类方案。

芯片流片回来之后,他们又把 31 张扫描电子显微镜拍摄的照片交给 AI 分析。

毕竟设计图纸和实际制造出来的芯片,总会有一些加工偏差。AI 可以从这些照片中识别误差,再把真实数据反馈给仿真系统,继续改进下一轮设计。

也就是说,AI 已经可以自主探索芯片设计方案,再通过仿真和真实制造来验证效果,最后根据实际结果继续优化。

这和前面提到的大模型推理优化是同样的思路,只不过芯片研发的难度更高,周期也更长,还需要面对真实制造过程中的各种不确定性。

当然,目前还只是首版测试芯片,距离成熟的产品还有很长的路要走。

但如果这套方法以后真能广泛应用到国产芯片研发,以及大模型训练、推理的适配和优化中,那想象空间确实太大了。

写到这里,我也终于理解,为什么 DeepSeek、Kimi、GLM 这些炙手可热的大模型团队里,核心研究员愿意离开原来的岗位,出来啃这么硬的骨头。

我之前确实把这件事想小了。

如果能把自进化算力这事搞定,那它对整个 AI 行业的影响,几乎是决定性的。
15
小盖fun
5天前
难得听到这么实在的 AI 应用播客。

在 2026 年还剩下不到两个月的时候,听到一期非常精彩的聊 AI 应用和实践的播客,来自资深媒体人李翔的播客《详谈》,采访的是美图公司 CEO 吴欣鸿。

这期对谈,两个多小时,我在飞机上没开倍速,从头到尾认真听完了。下面也给大家分享一下我的笔记和感想。

一、AI 产品的方向

过去这两年,绝大多数 AI 应用创业者应该都有不同程度的迷茫。因为通用 Agent 的能力边界在不断扩展,很多垂类的 App,生存空间越来越小。

而且,整个应用市场本身已经相当成熟了。

比如,想做一款笔记应用、摄影应用,或者视频剪辑工具,市面上早就有大量成熟的产品。即便借助 AI 做出一些新功能,也很难找到 PMF。因为之前的产品也在快速 AI 化。

不信的话大家可以去看,过去这一年,你觉得市场上有涌现出来什么有趣的 AI 应用吗?除了 Codex、Claude Code 之外。说实话,我想不到。

今年我和很多创业的朋友聊过这个问题,感觉大家普遍都没有特别清晰的答案。

绝大多数人和我的心理状态一样,既看到了 AI 可能带来很多新的机会,同时又没有能找到非常具体且有效的切入点。

美图其实是一个很好的例子,说实话,我之前对它的印象可能还停留在美图秀秀的阶段。

但听完播客,查了一下,才知道人家已经做了很多款 AI Native 的应用,而且付费率都不错,有利润。

他们的策略给了我一个很重要的启发:坚定地选择自己喜欢且擅长的事情。

上周我在成都,和一位正在创业的高中同学聊起 AI 短剧。他说有家公司做短剧特别赚钱,他准备进去做。我当时就说,我肯定不会做这个事情。

原因很简单,我不喜欢短剧,也不擅长这个领域。只看到别人赚钱,然后自己也跟着进去,大概率很难拿到什么好结果。

回来的路上,我听了吴欣鸿的这期播客,更加坚定了这个判断。

你想想,现在 Vibe Coding 已经把开发应用的门槛降得非常低了。但就像吴欣鸿说的,借助 AI,复刻一款产品的功能和交互,可能只能做到 60 分。

但你想让用户真正认可,甚至愿意付费,那就需要做到 90 分。

从 60 分到 90 分,才是最考验人的地方。

这么说吧,如果我们自己根本不熟悉这个领域,只是看到某个方向很赚钱,就急着进去做产品,那凭什么比那些已经在这个行业里摸爬滚打很多年的人做得更好?

美图就是一个很好的例子。

他们整个团队在影像领域已经深耕了很多年,对图片、视频,以及用户的各种需求都有比较深刻的理解。

AI 时代到来之后,他们在原有的技术和产品能力上继续 AI 化,自然就比那些刚刚进入这个领域的团队更有优势。

如果这个时候,突然跑去做一个完全陌生的领域,相当于放弃了过去很多年的积累,又要从头开始和别人竞争。

当然,跨行业创业也可能成功,反例肯定有一大堆。我只是把这件事理解成概率问题。

对于绝大多数创业者来说,还是应该想想,自己喜欢且擅长什么事情。然后看看 AI 能不能把这些积累进一步放大。

不要因为看到别人赚钱,就什么都想尝试一下。浅尝辄试是 AI 时代的大忌。

二、机会的切入点

播客里讲了美图开拍这款产品的故事,我特有启发。

开拍最早只是美颜相机里的提词器功能。它之所以后来被独立做成产品,和美图对用户付费行为的一次分析有关。

当时,美颜相机已经有很多功能了。团队想看看,用户到底更愿意为哪些功能付费。结果发现,提词器居然排在所有付费功能的第三名。

一个看起来普普通通的提词器,为什么会有这么多人愿意为它付费?访谈用户后,才发现很多人使用提词器,是为了录制口播视频,做营销、带货。

也就是说,提词器只是用户使用的功能,背后真正的需求是制作口播视频。发现这个需求之后,他们才决定把提词器独立出来,开发成了开拍。

但如果只是做提词器,市面上早就有很多类似的产品了,根本没什么竞争优势。所以他们继续沿着用户的需求往深处做。

比如用户录制口播视频,首先要准备文案,然后拍摄,拍完还得剪辑、添加字幕。那能不能利用 AI,把整个口播视频的制作过程变得更简单?

开拍就围绕这些需求,不断完善产品的功能。

往后,他们又发现,开拍的很多重度用户都来自房产、保险、知识付费等行业。

这些人需要经常录制口播视频,通过视频获客、营销,对制作效率的要求很高,也更有动力为工具付费。

于是,美图开始深入这些行业,和用户交流,了解他们平时怎么做视频营销,还有哪些需求没有得到满足,然后再根据这些反馈完善产品。

这个案例对我启发很大。

对于小团队来说,也许我们根本没必要硬生生地从零寻找全新的应用场景。

完全可以换个思路,研究那些已经非常成熟的大产品,看看它们里面有哪些不起眼的小功能,用户使用频率很高,而且愿意为之付费。

因为这些付费行为,本身就已经证明了需求的存在。

然后再去研究,到底是什么人在付费?他们为什么需要这个功能?背后还有哪些没有被满足的需求?

比如剪映。

剪辑当然是它的核心功能,但除了剪辑之外,还有没有其他功能,被某些特定人群高频使用,甚至愿意专门为它付费?

如果有,我们就可以继续研究,这些用户为什么需要它,能不能围绕他们的具体工作场景,做出更加深入的产品。

成熟产品里的付费功能,已经帮我们筛选出了有真实需求的用户。接下来要做的,就是顺着这批用户的工作流程继续往下挖。

就像开拍,从提词器切入,最后做到了口播视频的整个制作流程,甚至深入房产、保险等行业。

三、快速调整

美图目前有 2000 名左右的员工,也算是不小的公司了。但他们现在做 AI 新产品,反而开始主动把团队拆小,成立了一个个 AI 创新工作室,有些工作室一开始只有两三个人。

因为有了 AI 的帮助,有能力的人可以迅速成为超级个体。而且团队越小,沟通和决策的成本也越低。

这让我挺有感触的。

我现在创业,经常会有个心魔,觉得团队人少,很多事情想做又做不了,总觉得是不是应该再多招几个人。但你看,现在连大公司都在主动把团队拆小,说明小团队有自己的优势。

所以我突然反应过来,真的没必要对团队人数有太多焦虑。特别是在 AI 时代,团队的竞争逻辑和之前完全不一样了。

美图其实是通过这种小团队的方式,鼓励大家内部创业。要是谁有了新的产品想法,可以先借助 AI 快速做出 Demo,然后公司再决定是否立项。

这个流程会非常快,不像之前那样,写一大堆论证文档啥的。

然后项目启动之后,也不会一下子投入很多资源。他们会先快速验证市场需求,看看用户反馈如何。如果效果不错,就继续加大投入。

如果迟迟看不到正反馈,就快速调整,或者直接停掉项目。

整个过程非常灵活,没什么包袱。

这一点,我自己还是挺有感触的。因为之前创过几次业,我发现创业者其实很容易陷入一种奇怪的陷阱。

创业之前,可能特别看好某个方向,于是开始创业,在这件事情上投入了大量时间和资源。

结果做了一两年,市场始终没什么起色。但因为前面已经投入了太多心血,实在舍不得放弃,总觉得再坚持一下,也许就能看到转机。

但我现在越来越觉得,坚持应该有个前提,就是我们能在不断尝试的过程中看到正反馈。

如果做了几个月,反复调整之后,市场还是没什么反应,那就应该认真考虑,是不是方向本身有问题。

千万别迷信坚持就一定会成功。

播客里提到一个故事,美图曾经投入了非常多资源研发视频基础模型,但后来做着做着,他们充分意识到,这个方向需要的算力、数据和研发资源实在太大了,仅凭美图的资源,很难和头部公司竞争。

所以,即便视频生成是个非常有前景的市场,他们还是决定收缩,把自研模型的资源聚焦到本身积累深厚的图像领域。

确实,某个方向很有前景,别的公司也能赚到钱,但这不代表自己就有机会做成。如果发现自己的资源和能力确实支撑不了,那就应该及时调整,去做更有把握的事情。

好像我们从小受的教育中,都提倡坚持。

但现在经历的事情多了,我认为,放弃其实也是一种智慧。

我现在倾向于把失败当成信号机制,提醒我们该拐弯的时候拐弯,而不是一条路走到黑......

这期播客还是非常推荐大家有空听听。我周末在回北京的飞机上听得意犹未尽,感觉嘉宾的表达还是比较实在。

除了我上面讲到的怎么寻找 AI 应用的机会、怎么打造 AI 组织,也谈到了中国产品的全球化、应用和模型的关系,以及作为管理者如何阶段性调整目标和战略,基本都是具体的经验之谈。
13
小盖fun
6天前
通俗易懂解释下什么是帕累托前沿。

假设中午我想点外卖吃饺子,于是打开外卖软件,筛选了几家商家。假设这几家的饺子味道、分量都差不多。

第一家,价格很便宜,但配送时间比较长,得等一个多小时。
第二家,价格贵一些,但送达速度很快,可能二十分钟就能吃上。
第三家,价格和配送速度都介于前面两家之间。

那这三家其实都挺合理的。如果我想省钱,可以选择第一家。如果已经饿得不行了,那就多花点钱,选择第二家。如果想兼顾价格和配送速度,可以选择第三家。

但假设还有第四家,价格比第二家还贵,配送速度却比第二家慢,那肯定就不在我的考虑范围内了。

所以,前三家都处在帕累托前沿上,而第四家就不在。

这就是帕累托前沿的核心逻辑。简单来说,如果一家店的价格和配送速度,没有被其他商家全面超越,那它就处在帕累托前沿上。
10
小盖fun
9天前
GPT-6 和 Fable 5,居然有这么明显的短板。

OpenAI 和 Anthropic 这两年没少宣传自家模型在 AI for Science 上的突破,但确实也有吹牛的成分在,他们会把某一个点上的优势挑出来放大了说。

到底怎么客观评估前沿模型在科学研究方面的真实水准?

我看到有家涉猎 AI 科学研究的创业公司,牵头推出了一套 Benchmark,叫 Science Prediction Universe,简称 SPU。

SPU 会重点关注 AI 模型参与科学研究任务时,能否根据已有的科学知识和实验条件,预测不同实验方案可能得到什么结果。

从科学发现的视角来看,这个能力几乎是决定性的。

打个不那么技术的比方。

假设我面前有五条路,都有可能通往终点。

正常情况下,科学家会根据已有的科学规律、经验,以及目前掌握的事实,推演哪条路更有可能走通,然后优先投入时间和资源去探索。

这样就能尽可能缩小范围,减少不必要的试错。

有人可能会觉得这没必要。完全可以让 AI 把这五条道迅速地跑一次,毕竟 AI 的执行和计算效率远超过人类。

不行。因为刚才说的只有五条路,如果摆在面前的是五十条、五千条,甚至五百万条路呢?

这个时候,即使 AI 的执行效率再高,如果不能提前缩小探索范围,最后可能还是要消耗大量算力和实验资源,像大海捞针一样去寻找答案。

UniPat AI 就是从这个问题出发,设计了前面说的 SPU Benchmark。

反正从这次测试来看,结果并不理想。即使是 GPT-6 Astra、Claude Fable 5.1 这些顶尖模型,表现最好的配置,也只有大约一半的已评分任务,预测结果好于瞎猜。

研究团队又尝试让模型花更多时间思考和推理,看看预测能不能更准确一些。

结果大跌眼镜,GPT-6 Astra 把推理强度从中等提高到最高之后,运行时间增加了 4.8 倍,API 成本增加了 5.3 倍,但预测成绩却没有明显改善。

也就是说,不是推理强度的问题。模型花了更多时间推理,仍然还是预测不准。

为什么?

为了搞明白这个问题,他们又进一步分析了不同模型的表现。

虽然前面提到所有模型的成绩都不算理想,但模型之间还是存在明显差距的。

对照分析了执行任务的具体过程,他们发现真正拉开差距的能力,其实是模型能否找准影响实验结果的关键因素。

举个例子。

有道化学题,需要预测 12 种不同溶剂,哪一种能够从同一个聚合反应中分离出更多的聚合物。

Claude Opus 5.5 和 Qwen3.8 都参与了测试。把这 12 种溶剂两两比较,总共 66 对,Opus 判断对了 56 对,而 Qwen 只判断对了 30 对。

为什么差这么多?

因为 Qwen 主要根据溶剂能够溶解多少乙烯来判断结果。

但 Opus 通过推理可以得出这些溶剂的乙烯溶解量其实差别不大,真正影响实验结果的是溶剂与原料、催化剂之间的混溶性。

你看,同样的科学实验预测,两个模型都能准确使用专业的计算工具,但最终的结果却相差这么大。

核心还是它们对实验背后科学规律的理解能力。

所以,我觉得 SPU 这次研究有个非常值得关注的非共识判断。

对于科学实验的预测来说,模型能否找准真正影响实验结果的因素,这比它花多少时间推理、调用多少工具更加重要。

如果一开始就判断错了,后面投入再多算力,也未必能得到更准确的预测。

毕竟最近半年,AI for Science 领域不断传出各种突破。

比如 OpenAI 宣布模型在一些困扰数学家几十年的难题上取得进展,Anthropic 也公布了 Claude 发现一种新酶系统的研究成果。

这些成果当然很有价值。但这次看了 SPU 的报告,我意识到,几个成功的案例,确实还不足以说明 AI 已经能够可靠地参与科学发现。

UniPat AI 这次提出这个命题,我感觉还是很有前瞻性。

因为科学研究有很大一部分工作,就是在大量可能的方向中,判断哪些更值得尝试。

而 AI 能否根据已有的科学知识和实验条件,提前预测真实实验的结果,恰恰是判断它能不能帮科学家缩小探索范围的重要标准。

从这个角度来看,SPU 这样的 Benchmark 确实可以让我们通过真实的实验数据,客观地检验 AI 在科学预测方面究竟有多大本事。

只不过,从这次测试来看,即使是最顶尖的模型,距离可靠地预测真实实验结果,还有相当长的一段路要走。
00
小盖fun
13天前
挺神,昨天早上随手(真的是随手)写了一篇即刻,同步发了公众号,然后被推送了,居然有 700 多块的广告收入。
80
小盖fun
14天前
黄仁勋出轨的这位 Alice Huang(黄乐),这几年干的生意,说白了,就是倒腾芯片。

她背后有一家新加坡云计算公司,叫 Megaspeed。

根据彭博社对海关数据的分析,从2023年到2025年,这家公司进口的英伟达硬件价值至少46亿美元,涉及至少13.6万颗 GPU,其中超过一半都是 Blackwell 系列。

大家想想,这是什么概念?

一家名不见经传的云计算公司,短短两三年,就成了英伟达在东南亚最大的芯片买家。

但更蹊跷的是,黄乐和这家公司的关系。

根据新加坡的工商记录,2023年3月,黄乐出任 Megaspeed 的董事总经理。但仅仅过了8个月,到了同年11月,她就退出了公司的法定董事名单,公司的股权也已经转手。

也就是说,从工商登记来看,黄乐当时就已经退出了这家公司的管理层。

可到了2024年6月,她又出现在台北的一场行业聚会上,和黄仁勋同框。至少在那个时候,两个人就已经有了直接的商业接触。

紧接着到了2025年,Megaspeed 的芯片采购规模迅速膨胀。

今年5月,一家叫 Culper Research 的做空机构说他们采访过Megaspeed 的在职员工,这名员工说,虽然黄乐在公开资料中已经离职,但实际上,她仍然是他们的老板。

所以目前来看,这一切的管理权退出都是刻意为之。

另外,关于 Alice Huang 的年纪,保守估计,应该是在 40 岁之上。根本不是大家谣传的 20 多岁。
164
小盖fun
15天前
选人的标准:智力、主动性和诚信。
114
小盖fun
15天前
看了下,天天喊审美很重要的AI创业公司 CEO,做出的 PPT 居然是全场最丑的。一堆AI生成的没用装饰元素,还自认为高级。很戏谑。
10