即刻App年轻人的同好社区
下载
App内打开
小盖fun
8关注1k被关注5夸夸
做有意思的事情。
小盖fun
1天前
The Base Model Is Dead,这是我刚看完的一期分享,来自美国开源模型创业公司 Arcee AI 的预训练负责人 Varun Singh。标题有点唬人,但这哥们的观点非常扎实。

他认为,过去 Base Model 的任务,是尽可能吸收人类已有的知识。

GPT-3 那个时代,预训练的逻辑很简单,就是抓取大量互联网文本、Wikipedia、书籍,把尽可能多的人类知识压缩进模型参数里。

GPT-3 的训练数据里,来自网页和 Wikipedia 的数据大概占到了 85%。

那个时候大家的默认逻辑就是,模型到底有多强,很大程度上取决于预训练做得好不好。

后训练更多是在这个基础上做最后的行为调整,比如让模型更会聊天、更会遵循指令。RL 在当时的作用也比较有限。

但是 O1 之后,整个行业都发现了 RL 的重要性。

大家开始发现,只要 RL 做得足够好,模型在预训练结束之后,能力还可以继续明显提升。于是就不断加后训练的投入。

我记得之前罗福莉在一个访谈里提过,他们在预训练和后训练上的算力投入已经大致接近。

这也就是说,模型在预训练结束之后并没有定型。后训练已经不只是把模型调得更好用,它开始真正影响模型的最终能力。

Base Model 的角色也因此发生了变化。它越来越像是在给后面的 RL 准备一些原子能力,也就是 Atomic Skills。

举个例子,如果希望通过 RL 训练出一个非常强的 Coding Agent,那 Base Model 在预训练结束的时候,不一定已经能够独立完成十个小时的软件工程任务。

但它最好已经掌握了 Python、代码结构、API、函数调用、Git、文件系统这些基础能力。

这些就是 Atomic Skills。

进入更复杂的任务和环境之后,再通过 RL 学习怎么把这些基础能力组合起来,这样就可以涌现出复杂 Agent 任务的能力。

所以,如果 Base Model 的目标变了,预训练的数据自然也会变。

前面说过,GPT-3 时代网页文本占了训练数据的 85%。而现在一些新模型里,这个比例已经降到了 15% 左右,代码反而成了占比最大的数据来源。

背后的逻辑其实很好理解。

现在模型公司已经非常清楚模型需要的关键能力,诸如 Coding、长程任务等等,那在预训练阶段,就可以有意识地提前给它准备这些能力需要的数据。

所以训练数据开始越来越有目的性。一些过去主要在后训练阶段才会出现的问答、对话,以及更接近 Agent 任务的数据,也开始提前进入预训练。

这种训练逻辑下,合成数据的重要性也开始上升。因为当大家越来越清楚模型未来需要什么能力,然后就可以围绕这些能力,主动去准备更合适的训练数据。

比如我们已经知道,未来模型需要很强的 Coding、Reasoning Agent 能力,那就可以围绕这些目标,主动生成更接近真实任务的数据。

原来只是一段代码,现在可以把它变成找 Bug、修改代码、调用工具、连续完成任务的训练样本。

这样模型在预训练阶段接触到的,就不只是知识本身,也开始包含未来真正要用到的能力。

模型未来需要什么能力,预训练阶段就可以围绕这些能力去设计和生成数据。

这些变化,也催生了现在经常听到的 Mid-training。

原因也很好理解。

预训练阶段模型看到的,过去主要是网页文本、书籍、代码。但到了后训练阶段,它突然要面对 Reasoning Trace、Agent 交互记录、多轮工具调用、长上下文任务。

前后两个阶段的数据分布差别可能非常大。

如果直接从一个阶段跳到另外一个阶段,模型就需要突然适应一套完全不同的数据。

MoE 模型来说,这个问题会更加明显,因为预训练过程中不同 Expert 已经逐渐形成了自己的分工,数据分布突然变化,可能会影响原有的负载平衡。

所以 Mid-training 可以理解成一个过渡阶段。

在正式进入后训练之前,提前让模型适应更长的 Context、更接近 Reasoning Agent 的数据,以及未来真正会遇到的任务分布。

这样 Pre-training Post-training 之间就不会切得那么生硬。

所以整体来看,Pre-training、Mid-training、Post-training、RL 这几个阶段之间的界限,确实已经越来越模糊了。

或者换一种理解方式,现在看待模型训练,可以粗略简化成两个大的范式:Supervised Learning Reinforcement Learning。

前者帮助模型建立知识、表征和各种基础能力,后者再让模型进入环境,通过不断探索、试错和反馈,把这些能力组合起来。

回到开头那个标题。The Base Model Is Dead 当然是个有点夸张的说法。

Base Model 没有死,真正变化的是它在整个模型训练体系里的角色。

过去我们希望 Base Model 尽可能把人类知识学进去,然后在这个基础上做一些后训练。现在它越来越像一个为 Reasoning Agent 准备的底子。

先把 Atomic Skills 准备好,再把更多复杂能力留给后面的 RL。

Base Model 依然重要,只是它越来越像一个起点。
10
小盖fun
3天前
回老家,翻出了父亲 1993 年教书时留下的几本学生绘画本。那时候他教初一。

爸爸感叹,那会儿老师都是大学毕业后分配的。很多和他一批的年轻老师一腔热血,是真的一腔热血,觉得教书是一件值得做一辈子的事,也多少有点自己的教育理想。

反观现在,很多人考老师,只是当成上岸的路径之一......而且考老师的题,完全不是奔着挑好老师的方向去的。
44
小盖fun
4天前
明显感觉最近 K3 灭了不少 Anthropic 的威风。就像我关注的博主 HealthRanger 说的那样,几个中国开源模型的发布,让傲娇的硅谷实验室有点措手不及。

我这两天出去和很多朋友交流,感受非常明显。之前 Anthropic 封号的时候,大家还会想办法搞到新的号,继续用 Opus 系列模型。

但现在很多人,包括我自己,已经主动把日常的模型组合切换到了 GPT 5.6 Kimi K3 这个搭配,足够用了。而且一个月过去了,K3 仍在能力上是全中国最强的权重模型。

而且我发现 K3 GPT 5.6 非常互补。比如写完一个功能之后,我会交叉着让它们做检查,给我一些具体的反馈,这比单纯只用一个模型好很多。

这也不只是我自己的感受。

我看 All-In Podcast 主理人,知名投资人 Jason Calacanis 说,K3 开源之后,很多现在重度使用 OpenAI Anthropic 的公司,可能都会重新考虑自己的模型选择。

或者这么说吧,如果你是 Lovable,或者 ElevenLabs,每年都会给前沿实验室付很多钱,结果前沿实验室又忍不住做类似的业务,甚至会基于你的数据训练模型,并和你竞争,请问为什么不转向开源模型?Cursor 已经是前车之鉴了。自己部署的话,数据掌握在自己手里,这本来就是开源模型的优势。

记得半年前,硅谷精英讨论国内的开源模型,最常见的关键词还是便宜、开源和蒸馏。大概意思是开源模型很便宜,但智能能力肯定不到 SOTA。所以,在智能水平不行的情况下,贪图便宜没有任何价值。在 X 上经常能看到这类多少带有轻蔑的说法。

但最近 K3 出来之后,类似叙事已经彻底改变。我是怎么看的,K3 至少可以证明开源模型的智力能够跟得上闭源模型,同时,DeepSeek V4 系列又证明模型价格一定能打下来。所有的所有,接下来就是时间问题了。

我觉得,K3 可能是今年整个 AI 模型市场的重要拐点,可以说它把海外顶尖模型逼到了角落。

如果像之前的趋势那样,最后只有两三家前沿实验室能提供最好的模型,那对整个 AI 生态肯定不是什么好事。

因为未来大量 AI 应用,本质上都建立在模型之上。如果最好的模型始终掌握在两三家公司手里,应用公司就没有多少议价能力。Cursor 那几年,看起来 ARR 特别高,但其实,收入只是从它那里倒了一手,最后流进了 Anthropic 的口袋。

这样的话,所谓 AI 是互联网再来一次,就要打一个很大的问号。互联网当年能够出现那么多应用层巨头,很重要的原因就是基础设施越来越便宜,服务器、带宽、云计算的成本不断下降,创业公司才有利润空间。如果 AI 最核心的基础设施长期非常昂贵,而且被少数几家公司控制,那真不是什么好事。

就像 LibTV 陈冕说的那样,只有 Token 便宜、智能随手可得的时候,应用公司的时代才会来。

当开源模型的能力足够接近最强闭源模型之后,应用公司直接多了一个或者很多个新选择。量小的时候可以继续调用 API,等业务规模一上来,就可以考虑自己部署。我觉得只要这个选择存在,OpenAI Anthropic 就很难一直维持特别高的模型溢价。

事实也已经证明了这个逻辑的存在,K3 之后,Anthropic 已经把 Fable5 永久放在套餐中,而且永久下调了 Sonnet 5 的价格,这都是竞争的结果。很难说这些调整就是因为 Kimi,但可以确定,模型越来越强、选择越来越多以后,Anthropic 显然也没法像以前那么舒服了。

我就感觉,中国公司又一次成了美国市场里的那条鲶鱼。之前是应用层的拼多多、TikTok,它们靠不同的产品方式和成本效率,在美国市场撕开了口子。这一次轮到了 Kimi,而且战场直接来到了硅谷最引以为傲的 AI 高地。
92
小盖fun
6天前
这两天密集见了不少大厂朋友、猎头和投资人,收获特别大。以后准备每个季度专门抽两天时间,跟不同圈子的人聊聊。

平时埋头工作,还是很容易慢慢陷入到自己的信息茧房里。下面是这两天的一些笔记。

1、这源自一个猎头朋友的洞察。他说,整个行业现在真正缺的,是把 AI 变成实际生产力的人。

会用 WorkBuddy、ChatGPT、各种 Agent,很快就不算什么特别有价值的能力了,因为这些工具会越来越简单,人人都会用。

真正拉开差距的仍然是业务理解和判断能力。

比如面对一个业务问题,能不能搞清楚问题卡在哪里,哪些环节可以重新设计,然后把整个流程跑通,交付一个真正有用的结果。

所以未来很多岗位的分水岭,根本不在执行能力上。只会按部就班完成任务的人,价值感还是很容易被 AI 压缩。

2、无论大公司还是小公司,现在都越来越追求人才密度。

以前一个团队里,有几个特别厉害的人,再搭配一些普通执行者,也能运转。但 AI 出来以后,这种结构确实在快速变化。

一个能力 80 分甚至 90 分的人,配上好的 AI 工具,能覆盖的工作范围会迅速变大。

举个例子,以前需要产品、研发、运营几个人一起完成的事情,现在一个能力比较强的人,自己就能先跑出一个七八十分的版本。

这时候 60 分和 90 分的人之间,差距就不只是 30 分了。

高手借助 AI 放大自己的能力,能力一般的人,原来赖以存在的执行工作又恰恰最容易被 AI 接过去。

所以以后好公司可能会越来越倾向于少招人。一个岗位宁愿空半年,也不愿意为了把 HC 填满,随便找一个差不多的人。

3、一个做管理的朋友,之前每天差不多 80% 的时间都在开会、协调、沟通。最近因为一些变化,重新回到半一线状态,开始自己做产品、写东西、解决具体问题。他说最大的感受是整个人突然重新有了创造的快乐。

这让我越来越觉得,这个时代纯管理岗的风险很大。

一个管理者如果离开了组织和头衔以后,自己已经不会做任何具体事情,竞争力会越来越弱。

反过来,一个人如果还保持好奇心,愿意自己下场做东西,现在可能真的是一个特别好的时代。

4、跟几个朋友聊选人的逻辑,我越来越认同一句话:筛选远远大于培训。过去很容易有一种想法,觉得这个人能力差一点没关系,态度好就行,慢慢教。

后来会发现,一个人的思维方式、责任感、做事情的标准,改变起来非常困难。

尤其是成年人。一个人如果习惯了等靠要,很难靠几次培训让他变成一个主动发现问题的人。

所以无论是招普通员工,还是找合伙人,前面的判断特别重要。

发现不合适,尽快 say no,这样双方成本都更低。很多管理问题,表面上看是在讨论怎么带人,往前追一步,其实是当初选错了人。这话绝对是真理。

5、AI 越来越强以后,我反而越来越觉得审美和价值判断特别重要。

以前一个人做不出好东西,可能是能力不够。现在很多时候能力已经不是瓶颈了,真正的问题变成了,知不知道什么是好的东西。

AI 一次可以给十几个方案。如果自己没有判断标准,这十几个方案其实没有太大区别,最后只能挑一个看起来最顺眼的。

我想起呼兰之前的观点,他说接触一个新领域,最重要的是先去建立审美。

先大量看这个领域里真正好的东西,搞明白高手为什么这么做,什么算好,什么只是看起来热闹。

有了坐标之后再去模仿,慢慢形成自己的东西。

6、吴军在一个访谈里说,懂行的人驾驭 AI,不懂行的人依赖 AI。

很多人觉得 AI 越来越强以后,自己就不用懂那么多了。

领导给一个需求,交给 AI,AI 给答案,再交给领导,好像就能完成工作。

但仔细想想这个角色其实非常危险。因为这只是在领导和 AI 之间做了一层转发,既不清楚领导真正想解决什么,也判断不了 AI 给的答案对不对。

只要模型再往前走一步,这层人很容易就没有存在的必要了。所以 AI 越强,越不能放弃对专业本身的理解。

懂得越深,越知道怎么问、怎么判断、什么时候该信 AI、什么时候该怀疑它。

这样 AI 才真正成为杠杆。

7、关于 AI 取代工作的焦虑,很多人其实是在消极面对。

真正值得担心的可能不是某一天突然被 AI 替代,而是在未来五年、十年里,明明已经看见工作方式在变,自己却一直没有变。

历史上的技术革命基本也是这样。很少有人昨天还工作正常,第二天整个职业突然消失。

真正被淘汰的人,往往有很长的调整时间,只是这段时间里一直没有做出调整。

8、一个投资人跟我讲了一个区分能动性高低的框架,特别有意思。

能动性低的人,总希望行动之前把问题全部想清楚。这件事情成功概率多大?最优路径是什么?失败怎么办?能不能先给一个完整答案,再决定要不要开始。

但很多事情根本没有完整答案。只有真的做了第一步,现实世界才会给新的信息,然后才能决定第二步怎么走。

高能动性的人看待行动完全不同。第一步本身就是用来获取信息的。先做一个版本,先发出去,先找人聊,先试着卖,拿到真实反馈再调整。

AI 对这种人的价值非常大。过去一次试错可能要一周,现在一天可以跑很多轮。一个本来就愿意行动的人,迭代速度会变得非常夸张。

但一个人如果始终坐在那里,想靠思考把所有不确定性消灭掉,AI 给再多答案也没什么用。现实世界的反馈,没法被提示词替代。

9、人真的是环境的反应器。一个朋友前半年跳槽到一家 AI 公司,几个月没见,这次再聊的时候,非常明显地感觉到他整个人的状态都变了。

说话的方式、关注的问题、每天学的东西,跟之前完全不一样。

我们很容易低估环境的影响。总觉得自己是独立思考的,但实际上每天和什么人待在一起,大家讨论什么问题,周围人的工作标准是什么,会一点点改变对正常的理解。

身边所有人都觉得一天做完一件事已经很快,慢慢也会接受这个速度。身边的人每天都在试新工具、做新东西,也很难完全无动于衷。

有条件的话,尽量让自己待在一个好的环境里。环境没法直接把一个人变优秀,但它会不断告诉人什么叫正常。这个正常的标准特别重要。

10、日常工作里,可以刻意训练自己追求又快又好。

以前经常觉得,不着急的事情就慢慢做,反正时间还早。但最近越来越觉得,即使没有外部 deadline,也可以主动给自己设一个。

比如原来一天能做完的事情,试试看两个小时能不能完成,而且质量不能明显下降。

一旦目标变成又快又好,就会被迫重新思考工作方式。哪些步骤其实没必要,哪些事情可以交给 AI,什么时候最容易被打断,什么事情必须集中精力一次做完。

很多效率问题并不是能力问题,只是以前从来没有要求自己足够快。

速度本身也是一种训练。一个人开始习惯快速完成、快速反馈、快速迭代以后,单位时间获得的经验也会更多,最后又会反过来让质量继续提高。
1577
小盖fun
11天前
程序员想转AI的话,可以看下 FDE 这个新岗位。

硅谷不少公司都在高薪招聘 FDE,比如 OpenAI、Anthropic、Scale AI,感觉这是程序员的一条新出路。有人可能觉得,FDE 就是换汤不换药,和之前的售前工程师、解决方案架构师或者技术支持没什么区别。

其实不是。今天我想写一篇文章,彻底解释一下 FDE 到底是什么。

恰好,今天看了一期关于 FDE 的分享,主讲人是 Anthropic FDE Kevin Bai。之前这哥们是 Palantir FDE 团队的创始成员之一。

Palantir 正是最早把 FDE 这套模式系统化的公司之一,所以这期内容还是非常精彩。

其实,FDE 这套模式已经存在二十年左右了,只是最近因为 AI Agent 的兴起,又被重新拿出来讨论。

原因也很简单。越来越多的软件开始变得高度可定制、高度复杂,产品能力越来越强,客户自己搞不定的概率也在同步上升。这个时候,FDE 的价值就凸显出来了。

或者这么讲,FDE 不只是一个岗位名称,它更是一种产品进入市场的方式。

公司不再只是把软件卖给客户,然后等待客户自己研究怎么使用。

它会把真正的软件工程师派到客户一线,理解客户的业务,再基于公司的平台搭建解决方案,最后对业务结果负责。

FDE 到底在做什么?

想理解 FDE 这个岗位,我们还是先从把它发扬光大的 Palantir 说起。

曾经,Palantir 做了一个叫 Foundry 的平台,干的事情是帮企业把散落各处的数据归拢到一起,重新整理,再基于这些数据搭建各种应用。

听起来很厉害,对吧?

问题是,Palantir 的客户里有大量传统行业公司,比如石油、快消、制造业。

这些公司手里有海量的数据,也有巨大的业务需求,但内部未必拥有足够强的软件工程团队。

这就尴尬了。Palantir 做了一个应用开发平台,但买这个平台的人可能根本不会开发。

举个例子,他们跟一家石油公司的高管讲,我们的平台可以帮贵公司搭建数据本体、统一数据模型、整合供应链系统,对方的第一反应大概是,能不能说得简单点,这些东西到底能帮我解决什么问题?

你想想,石油公司高管真正关心的可能是,设备停机时间能不能缩短,或者销售和库存预测能不能更准确。

至于底层的数据表怎么处理,这些都属于实施细节。

指望石油公司买下 Foundry 之后,再自己培养一支工程团队把平台用起来,整个过程可能非常漫长。

同时期,传统 SaaS 的常见做法,是把标准化软件交付给客户,再提供培训、实施和技术支持。

最后能不能把产品真正用好,依然很大程度取决于客户自己的能力。

Foundry 这种高度复杂、可以继续开发的平台,单靠说明书、培训课和几个实施顾问,很难产生价值。

所以 Palantir 想出来的办法是,直接派工程师过去。

注意,派过去的不是普通销售,也不是只负责排查故障的售后客服,是真正能写代码、能搭建复杂系统的软件工程师。

这些工程师到了客户公司之后,第一件事是先搞明白客户的业务到底怎么运转。

比如石油公司的供应链到底卡在哪里,现在的流程有没有什么优化的可能,以及管理层真正想改善的指标是什么。

业务吃透之后,他们再在 Foundry 上搭出一套能直接使用的方案。

客户只需要参与业务判断,提供真实场景,并检验最后的结果。

比如供应链周转效率提升了多少,某个原本需要几周完成的流程,现在缩短到了几天。

所以,FDE 这套模式的核心可以用一句话概括:客户付的钱,对应的是一个可以被验证的业务结果。

如果觉得这个概念还是有点抽象,可以换一个角度来理解。

做过 B2B 创业的人应该都有体感。公司最早期的那几个客户,基本上都会和团队一起共建产品。

产品最终长什么样还没有定论,客户到底需要什么也不完全清楚。

双方坐在一起反复沟通,团队一边写代码,一边理解客户,一边修改产品。这种模式在硅谷叫 Design Partnership。

几乎所有 B2B 公司寻找 PMF 的过程,都经历过类似的阶段。

Palantir 的核心主张很简单,谁规定这种深度共建只能发生在创业早期?

公司做大以后,为什么一定要退回到签合同、交软件、让客户自己研究的模式?能不能一直保持这种贴身合作,把它做到企业级,甚至做到全球 500 强?FDE 就是这个思路的落地方式。

FDE 和售前工程师有什么区别?

看到这里,很多人可能还是会觉得,这不就是售前工程师加技术支持吗?表面看,几种岗位确实有很多重叠。

我还是根据自己的理解挨个解释下。售前工程师主要发生在签合同之前。

他需要证明产品能不能满足客户需求,所以需要和销售一起做技术交流、回答安全和架构问题。

技术支持通常发生在产品交付之后,主要解决客户使用过程中遇到的故障、配置、权限和性能问题。

FDE 面对的往往是一个还没有标准答案的业务问题。

客户可能只知道自己供应链效率太低,却不知道应该做成什么软件。

FDE 需要进入客户现场,理解业务,设计方案,写代码,把平台能力组合起来,再把整个系统真正跑通。

所以,FDE 的工作并不会随着合同签署结束。很多时候,签合同之后才是工作的开始。

它也不只是帮助客户把已有产品用好,还会在平台之上继续开发,甚至影响平台下一阶段应该增加哪些能力。

售前更关注产品能不能卖出去,技术支持更关注产品能不能正常使用,FDE 更关注产品最终有没有产生客户愿意付费的业务结果。

当然,不同公司对岗位的命名并不统一。有些公司的 Solutions Architect 也会承担类似职责,有些售前工程师也会参与深度实施。

FDE 的价值在哪?

紧接着,我们再讨论一下,这套模式到底能不能帮公司挣到钱。

Kevin 在分享中引用了一组面向财富 500 强企业的平均合同额数据。

按照他当时看到的数据,Palantir 的平均合同额大约为 400 万美元,ServiceNow 大约为 120 万美元,Workday 大约为 60 万美元。

再往后,很少有上市 SaaS 公司能超过 50 万美元。

为什么差距这么大?因为卖东西的逻辑从根上发生了变化。

传统 SaaS 卖的是软件使用权,定价通常和功能、账号数量、数据量、调用量有关。

FDE 模式卖的是业务成果,定价锚点变成了这套方案能帮客户创造多少商业价值。

当公司提供的只是一个软件工具,客户自然会拿它和其他软件比价格。

而当公司直接参与解决供应链、销售、生产和运营问题,客户衡量它的方式也会发生变化。

他们考虑的不再只是一个软件账号值多少钱,还会考虑这个方案能带来多少新增收入,节省多少成本,减少多少风险。

从卖工具到卖结果,中间的价值跃迁非常大。

但听到这里,可能有人会觉得,那我也派几个工程师去客户那里驻场,帮他们写代码不就行了?

没那么简单。

如果每个工程师面对每个客户都从零开始写代码,那跟开一家外包公司没有太大区别。

FDE 跟普通定制开发最关键的区别,在于工程师是在一套拥有共享组件的平台上搭建解决方案。

数据模型不用每次从头定义,身份、权限、存储、计算和基础设施也不用重新搭建。

大量通用能力已经沉淀成了可以重复使用的模块,FDE 要做的是根据客户场景,把这些模块重新组合,再补上必要的定制部分。

所以,FDE 能不能规模化,关键还要看公司背后有没有一套足够扎实的平台。不然就真成外包了。

并且平台也不一定要提前把所有应用做好。在需求相对统一的行业,平台可能已经完成了 60%,FDE 只需要根据客户情况修改剩下的 40%。

在差异更大的行业,平台提供的组件就需要更加细,给 FDE 留出更大的组合空间。

而且,这个过程还会自己转起来。工程师在给客户做方案时,经常会发现,某个能力最初虽然是为一家客户开发的,但其他客户也可能需要。

这时,这项能力就不应该永远留在某个客户的代码里,而应该被抽象成通用组件,沉淀回平台。

平台因此越来越丰富,下一个客户的交付也会越来越快。

FDE 绝对不是万能药

说完价值,还得泼一盆冷水。对于团队适不适合做 FDE。Kevin 给出了一个很简洁的判断框架。

画一个 2×2 的矩阵,一个轴是产品的技术复杂度,另一个轴是客户自身的技术能力。

产品很复杂,但买家本身就是技术人员,比如 GitHub 卖给程序员,Datadog 卖给软件和运维团队,这类公司通常不需要 FDE。

用户自己能够理解产品,也能够完成开发和集成。

产品没有那么复杂,买家也不是技术人员,比如 Slack、Jira 或者常见的企业 SaaS,也不一定需要 FDE。

产品做好标准化和配置能力,客户照着流程就能使用。

只有一种情况特别需要 FDE。

公司卖的是一个高度复杂、需要继续开发的技术平台,买家却缺少把平台真正用起来的工程能力。

这是矩阵里最别扭的一个象限,也是 Palantir 长期所在的位置。

所以,公司考虑要不要组建 FDE 团队之前,真正需要想清楚两件事。

第一,我的产品是不是复杂到客户自己很难完成实施?
第二,我有没有一套足够扎实的平台,让工程师可以在上面搭建,而不是每次都从零开始?

产品不够复杂,派工程师过去只是增加交付成本。

没有共享平台,FDE 团队很快就会变成定制开发团队,收入增长的同时,维护成本和技术债也会同步增长。

AI 时代,这个岗位更重要了。

说到这里,我感觉应该也能够理解为什么像 OpenAI、Anthropic 这样的公司都在疯狂招 FDE。

因为 AI,尤其是 Agent 能力的提升,正在让前面那个 2×2 矩阵发生一个微妙但重大的位移。

过去,产品极度复杂,买家又缺少技术能力,这种情况相对少见,主要集中在 Palantir 面对的大型传统企业。

但今天,越来越多的 AI 产品都开始拥有 Agent、工作流、工具调用、企业知识库、权限系统和各种定制能力。

Agent 天然意味着可定制。同一个底层模型,接入不同的数据、工具、权限和工作流,就会变成完全不同的产品。

产品能够做的事情越来越多,灵活性越来越高,但买单的人并没有同步变得更懂技术。

这意味着,以前只有 Palantir 经常面对的尴尬处境,正在变成更多 AI 公司的日常。

今天几乎所有平台都开始变得 Agentic,也就意味着几乎所有平台都开始变得高度可定制。

客户搞不清楚产品到底能做什么,也不知道怎样把它变成自己的业务结果,实施鸿沟反而被拉大了。

往深一层看,变化已经超出了某一个具体的产品品类。整个软件行业做生意的方式都在改变。

以前大部分 SaaS 产品是标准化的。软件卖出去以后,客户照着文档配置一下,就可以开始使用。

现在越来越多的平台是可配置、可编程、可以根据业务环境长出不同形态的。

这和以前卖一个固定功能的工具,是完全不同的生意。

如果把产品的成败全部交给客户自己的实施能力,在向上销售大客户、进入新行业或者扩大客户使用范围时,都会非常吃力。

所以,FDE 这个曾经很小众的岗位,在 AI 时代正在变成一种更广泛适用的能力模型。

越来越多的 AI 公司可能都会发现,自己需要一种角色,能够深入客户的具体业务场景,把平台的通用能力翻译成这个场景下可以运行的具体方案。

这个岗位最后叫不叫 FDE 并不重要。

重要的是,这种需求真实存在,而且会随着 AI 产品的复杂度继续增长。
33
小盖fun
13天前
彻底卸载沉浸式翻译这个插件,会员太贵了。我干脆自己做了一个,顺手接了蚂蚁的 Ling 3.0 Flash,Token 免费。
74
小盖fun
13天前
看来具身智能行业又有了一些新的进展。至少在受控的操作场景里,机器人已经开始能够比较成体系地从视频中学习技能了。

不知道大家还记不记得,去年 5 月,马斯克接受 CNBC 采访时曾经谈到过一个设想。

他说,如果特斯拉的机器人 Optimus 能够像人一样,可以从各种视频中学习某项技能,那它的任务扩展能力就会发生巨大的变化。因为这意味着它可以非常快地学会任何事情。

主持人紧接着问马斯克,现在还没有做到,对吧?马斯克回答,还没有。

他把通过观看视频学习技能,定义为 Optimus 需要跨过的一个重要门槛。

今天我看到,自变量机器人开源了一个叫 HOST 的框架。简单来说,它能让一个已经完成大规模训练的机器人,在面对新任务时,只观察一段人类演示视频,就可以学会执行这项任务。

论文给出的实验结果是,每项新技能需要的视频演示平均为 29 秒,在用于定量对比的一组新任务上,获取技能的成功率达到 62%。

相比目前仍占据主流的后训练微调方法,这个方案的学习速度提升了 500 倍,需要的数据量仅为 1/50,同时成功率还提升了 24%。

所以我就感觉,这事讨论了很多年,现在看来有些眉目了。

话说这个论文也很值得一看,写得非常精彩:

arxiv.org

过去的解决思路

其实让机器人看视频学习技能,这个方向在学术界有一个专门的名字,叫 One-Shot Visual Imitation,单次视觉模仿。

早在 1994 年,就已经有研究者提出,让机器人通过观看一次人类操作,提取可以重复使用的任务知识。

过去这些年,也出现过很多不同的技术路线。

早期的方法是先从人类视频里识别手的位置、物体的移动轨迹、手和物体在哪里发生接触,再把这些信息转换成机器人能够执行的路径。

这类方案的问题是中间往往要经过手部识别、物体识别和轨迹转换等多个环节,有些方案还需要三维重建。

关键问题在于,机器人与人体的结构不同,直接对应双方动作很可能不匹配。

只要前面的某个环节出现误差,到了机器人真正执行的时候,误差就可能不断累积。

后来,大家开始尝试用一个统一的模型解决这件事。

说白了,思路就是把人类演示视频和机器人当前看到的画面一起输入模型,让模型直接预测机械臂接下来应该怎样行动。

这类方法确实会利用视频中的动作过程,但问题在于,整段视频通常作为一个整体条件进入模型。

机器人真正开始执行以后,模型需要自己从整段视频中判断,当前最应该参考哪一部分。

如果机器人还停留在抓取阶段,输入的视频里却同时包含了移动、对准和插入等后续画面,其中很多内容和机器人当前的状态没有直接关系。

人类和机器人的执行节奏又不一样,这个判断就会变得更困难。所以,视频虽然参与了动作预测,却没有被明确地变成机器人执行过程中的进度参照。

HOST 如何找到视频中的任务进度?

HOST 首先就要解决对齐任务进度的问题。

他们认为,之前很多方法从视频中学习技能的效果不够好,可能并不只是因为视频中的信息不够,也不是因为人和机器人的身体差距太大,更核心的卡点是模型使用视频的方式不对。

比如,把花插进花瓶。机器人开始执行以后,系统需要持续判断,它现在是在准备抓花、移动花、对准花瓶,还是已经到了插入阶段。

这个问题之所以重要,是因为人类演示和机器人执行,通常不会按照相同的节奏推进。

这种差异也不只是人整体做得快,机器人整体做得慢。具体到不同阶段,两边的速度差异也不一样。

还是拿插花来说。假设机器人刚刚夹住花,HOST 会先在人类演示视频里找到人刚刚完成抓取的那一段。

接下来,机器人主要参考的就不再是整段视频,而是人如何移动花、靠近花瓶的后续画面。

机器人完成一小段动作以后,系统会再次对照演示视频,判断机器人现在进行到了哪里,然后继续参考后面的内容。

为了做到这一点,HOST 在训练时会学习人类演示和机器人执行之间的对应关系。即使两边速度不同,它也能判断哪些画面处于同一个任务阶段。

看到这里,我恍然大悟。这才是真正的跟着视频学习啊。论文把这个过程称为,把视频从被动的上下文,变成执行过程中的主动驱动信号。

从结果画面反推动作

但只解决进度错位,还不够。

即使机器人已经找到了视频中最应该参考的那一段,它依然很难直接把人类的画面翻译成自己的动作。视频里出现的是人的手、人的身体和人的视角。

机器人最终需要输出的,却是机械臂的移动位置、旋转角度和夹爪状态。

这中间的跨度非常大。

之前一些端到端模型,会让模型直接完成这次转换,整段人类视频,加上机器人当前的画面,直接生成机器人动作。

HOST 没有采用这样的思路。它会先参考人类演示接下来的变化,将这个变化的结果画面转换成机器人自己的视角、对应自己本体的画面,相当于是自己完成动作后想要实现的结果,再根据这个结果去反推要做的动作。

继续拿把花插进花瓶来说。

假设机器人已经夹住了花。演示视频里的人接下来把花移动到了花瓶口,并且完成了对准。

过去的做法,可能会让模型直接根据这段人类画面,计算机械臂接下来应该怎样移动。HOST 没有这样做。

它会先参考人类操作的结果,替换成机器人自己的视角:机械夹爪拿着花,已经移动到了花瓶口,并且对准了花瓶。

这组画面相当于给机器人设定了一个下一阶段的目标。模型再对比机器人当前看到的画面和这个目标,生成机械臂接下来需要执行的动作。

整个过程就被拆成了两步。先把人类演示结果转换成机器人自己的未来状态,再生成动作,让机器人逐渐到达这个状态。

所以,HOST 的整个过程可以简化成三步:

先判断机器人当前进行到了演示里的哪个阶段,再预测自己下一阶段应该看到什么,最后生成机械臂需要执行的动作。

HOST 最精髓的一步在于,它没有试图直接将人的动作翻译给机器人,而是瞄准人完成动作后的目标,将这个目标作为机器人要实现的目标,再反推动作。

如此一来,就避免了处理人和机器人构型不同这个最难的问题。

而且,这套过程并不是在任务开始时只运行一次。机器人每执行一段动作,都会重新观察环境,判断当前进度,预测下一阶段的画面,再继续生成动作。

论文还在同一套模型和训练条件下做了一组内部消融实验。

在已经保留目标耦合机制的情况下,直接从视频生成机器人动作,成功率是 34%。增加任务进度定位以后,提高到 43%。

再让模型预测机器人自己的未来画面,提高到 55%;最后,让动作生成明确依赖这些未来画面,成功率达到 62%。你能看到这些方法的每一步起到的作用。

教机器人做事的门槛变低了

HOST 非常大的一个创新是,它没有让模型每学习一个新任务,就去重新后训练微调,反复修改一套权重,而是把整个照着视频学技能的过程 ,都放在推理过程里。

模型本身的权重完全冻结,每次都照着视频现学现卖,如此就避免了过去后训练常见的灾难性遗忘。

这套开创性的做法,效果好得出奇:机器人观看一段平均 29 秒的人类视频,复现技能的成功率高达 62%。

相比之下,同样观看单段视频的 Vid2Robot/AWDA,成功率仅有 19%。主流的 Pi-0.5 + 后训练微调的方法,即使给模型示范 50 次任务,并花 4 小时微调训练,成功率也仅有 38%。

相比之下,HOST 用 1/50 的数据样本量和 1/500 的学习时间,成功率反而最高。这堪称当前表现最好的机器人技能学习方案。

62% 的成功率,看起来离 100% 还有段距离。

但在大家都关注的家庭场景中,恰恰不太关注单次成功率,而是更关心泛化性,也就是学得够快、能完成任务就好。

想象一下以后机器人进你家干家务活儿,你想让它按照特定的样式叠衣服,或者叠袜子。

这是它原本预训练不会的技能。只要给它演示一遍,它就能自己完成后续任务了。

这才是让机器人在家庭场景真正有用、能落地的技术。机器人学技能不再需要专业的数据采集和后训练,而是人人能做、成本低廉。

挺有意思的。

这距离机器人真正从一段视频里完整学会一项技能,肯定还有很长的路要走。但我觉得,HOST 提出的这个思路很有启发。

至少它让我们意识到,过去机器人从视频中学习技能的效果不好,未必说明这条路走不通,也可能只是我们使用视频的方式还不对,某些方法反而限制了自己的想象空间。

做具身智能或者对机器人感兴趣的同学,强烈推荐大家去看看这个项目。
01
小盖fun
13天前
确实,我也非常喜欢 Qwen 这次的Launch Video。很有美感,又清晰传递了主题。
20
小盖fun
13天前
我完全不理解为什么美团要做大模型,而且目前看,能力也是路边一条。美团利润那么薄,不像其他几个大厂能随便嚯嚯。相比之下,拼多多的选择就更有定力,也并不是每家公司都要成为硬科技公司吧。
110
小盖fun
14天前
非常喜欢小红书的这个设计,和爱因斯坦的那句话。
02