即刻App年轻人的同好社区
下载
App内打开
Fazzie
172关注134被关注2夸夸
白天摸鱼，摸黑干活
🤖ByteDance Seed|豆包 机器学习系统|
个人主页: fazzie-key.cool
知乎同名
Fazzie
4月前
任何AI公司的一号位如果不做技术，夸夸其谈，在这个时代，title越多，死的越快。
00
Fazzie
6月前
“当这个社会让硬核创新的人功成名就，群体性想法就会改变。我们只是还需要一堆事实和一个过程。”
说的太好了，想起来年中某知名播客的某知名VC说中美一线时这差距越来越大时，再不做就会rl就会被美国远远甩开，再也追不上了，我都怀疑我待的是不是一线，我们做的是不是rl，都懒得喷。
Deepseek完全使用本土的人才，在芯片禁运的情况下，没有任何来自OpenAI或者deepmind的人，打平甚至反超。
只能说有些人对于硅谷过于迷信了，物理定律在这个地球上都是一样的。
未来将是中国应用层超过美国，硬核创新并驾齐驱的时代。

阑夕ོ: 这几天刷推很明显的感觉到英文技术社区对中国AI产业的进步速度处于一种半震动半懵逼的状态，应激来源主要是两个，一个是宇树（Unitree）的轮足式机器狗B2-W，另一个是开源MoE模型DeepSeek-V3。 宇树在早年基本上属于是波士顿动力的跟班，产品形态完全照猫画虎，商业上瞄准的也是低配平替生态位，没有太大的吸引力，但从B系列型号开始，宇树的机器狗就在灵活性上可以和波士顿动力平起平坐了。 B2-W的意外在于切换了技术线，用运动性更高但平衡性同时也更难的动轮方案取代了B2还在沿用四足方案，然后在一年时间里完成了能在户外环境里跋山涉水的训练，很多美国人在视频底下说这一定是CGI的画面，不知道是真串还是心态炸了。 波士顿在机器狗身上也曾短暂用过动轮方案，或者说它测过的方案远比宇树要多——公司成立时长摆在那里——但是作为行业先驱，它连保持一家美国公司的实体都办不到了。 现代汽车2020年以打折价从软银手里买了波士顿动力，正值软银账面巨亏需要回血，而软银当初又是在2017年从Google那里买到手的，Google为什么卖呢，因为觉得太烧钱了，亏不起。 这理由就很离谱，美国的风险资本系统对于亏损的容忍度本来就是全球最高的，没有之一，对于前沿性的研究，砸钱画饼是再寻常不过了的——看这两年硅谷在AI上的投入产出比就知道了——但波士顿动力何以在独一档的地位上被当成不良资产卖来卖去？ 那头房间里的大象，美国的科技行业普遍都装作看不到：美国人，如今的美国人，从投行到企业，从CEO到程序员，从纽约到湾区，对制造业的厌弃已经成为本能了。 A16Z的合伙人马克·安德森2011年在「华尔街日报」写了那篇流传甚广的代表作「软件吞噬世界」，大概意思是，边际成本极低的软件公司注定接管一切水草繁盛之地，和这种可以提供指数级增长的生意比起来，其他的行业都不够看。 并不是说马克·安德森的表达有问题，后面这十几年来的现实走向，也确实在证明这条攫取规模化利润的回报是最高的，但美国人的路径依赖到最后必然带来一整代人丧失制造能力的结果。 这里说的丧失制造能力，并不是说丧失制造兴趣或是热情，我前段时间拜访了深圳一家逆向海淘公司，业务就是把华强北的电子配件做成可索引的结构化目录，然后提供从采购到验货再到发包的全流程服务，最大的买方就是美国的DIY市场和高校学生，他们之所以要不远万里的等上几个星期委托中国人来买东西，就是因为在诺大的美国本土，根本找不到供应链。 然后那些学生也只有在读书时才有真正尝试制造某些东西的机会，到了要去大公司里上班领薪后，再也没人愿意把手弄脏了。 但软件终究不能脱离硬件运行，哪怕硬件生产的附加值再不够看，基于采集一手物理数据的入口，制造商腰板硬起来后去做全套解决方案，只取决于能不能组建好的工程师团队，反过来却不一样，制造订单长期外包出去，它就变成产业链配套回不来了。 所以像是多旋翼无人机和四足机器狗这类新兴科技萌芽的原型机一般都还是产自有着试错资本的欧美，也就是所谓「从零到一」的过程，而在「从一到十」的落地阶段，中国的追赶成果就会开始密集呈现，进入「从十到百」的量产之后，中国的供应链成本直接杀死比赛。 波士顿动力的机器人最早在网上爆火的时候，Google X的负责人在内部备忘录里说他已经和媒体沟通了，希望不要让视频和Google扯上太大关系，是不是很迷惑，这么牛逼的事情，你作为母公司非但不高兴，还想躲起来，现在你们懂得这种顾虑从何而来了，就是觉得贵为软件巨头的Google去卷袖子干制造的活儿太卑贱了呗。 当然美国也还有马斯克这样的建设者（Builder），但你要知道马斯克的故事之所以动人，是因为他这样的人现在是极度稀缺的，而且长期以来不受主流科技业界待见，完全是靠逆常识的成就——造汽车，造火箭，造隧道，这都是硅谷唯恐避之不及的事情——去一步步打脸打出来的名声。 如果说宇树是在硬件上引起了一波怀疑现实的热度，那么DeepSeek则在软件的原生地盘，把大模型厂商都给硬控住了。 在微软、Meta、Google都在奔着10万卡集群去做大模型训练时，DeepSeek在2000个GPU上，花了不到600万美金和2个月的时间，就实现了对齐GPT-4o和Claude 3.5 Sonnet的测试结果。 DeepSeek-V2在半年前就火过一波，但那会儿的叙事还相对符合旧版本的预期：中国AI公司推出了低成本的开源模型，想要成为行业里的价格屠夫，中国人就擅长做这种便宜耐用的东西，只要不去和顶级产品比较，能用是肯定的。 但V3则完全不同了，它把成本降了10倍以上，同时质量却能比肩t1阵营，关键还是开源的，相关推文的评论区全是「中国人咋做到的？」 虽然但是，后发的大模型可以通过知识蒸馏等手段实现性价比更高的训练——类似你学习牛顿三定律的速度降低的斜率也在有利于追赶者，肯定比牛顿本人琢磨出定律的速度要快——成本，但匪夷所思的效率提升，是很难用已知训练方法来归纳的，它一定是是在底层架构上做了不同于其他巨头的创新。 另一个角度更有意思，如果针对中国的AI芯片禁售政策最后产生的后果，是让中国的大模型公司不得不在算力受限的约束下实现了效率更高的解决方案，这种适得其反的剧情就太讽刺了。 DeepSeek的创始人梁文锋之前也说过，公司差的从来都不是钱，而是高端芯片被禁运。 所以中国的大模型公司，像是字节和阿里这样的大厂，卡能管够，把年收入的1/10拿出来卷AI，问题不大，但初创公司没这么多弹药，保持不下牌桌的唯一方法就是玩命创新。 李开复今年也一直在表达一个观点，中国做AI的优势从来不是在不设预算上限的情况下去做突破性研究，而是在好、快、便宜和可靠性之间找出最优解。 零一和DeepSeek用的都是MoE（混合专家）模式，相当于是在事先准备的高质量数据集上去做特定训练，不能说在跑分上完全没有水分，但市场并不关心原理，只要质价比够看，就一定会有竞争力。 当然DeepSeek不太一样的是，它不太缺卡，2021年就囤了1万张英伟达A100，那会儿ChatGPT还没影呢，和Meta为了元宇宙囤卡却阴差阳错的赶上AI浪潮很像，DeepSeek买那么多卡，是为了做量化交易⋯⋯ 我最早对梁文锋有印象，是「西蒙斯传」里有他写的序，西蒙斯是文艺复兴科技公司的创始人，用算法模型去做自动化投资的开创者，梁文锋当时管着600亿人民币的量化私募，写序属于顺理成章的给行业祖师爷致敬。 交待这个背景，是想说，梁文锋的几家公司，从量化交易做到大模型开发，并不是一个金融转为科技的过程，而是数学技能在两个应用场景之间的切换，投资的目的是预测市场，大模型的原理也是预测Token。 后来看过几次梁文锋的采访，对他的印象很好，非常清醒和聪明的一个人，我贴几段你们感受一下： 「暗涌」：大部分中国公司都选择既要模型又要应用，为什么DeepSeek目前选择只做研究探索？ 梁文锋：因为我们觉得现在最重要的是参与到全球创新的浪潮里去。过去很多年，中国公司习惯了别人做技术创新，我们拿过来做应用变现，但这并非是一种理所当然。这一波浪潮里，我们的出发点，就不是趁机赚一笔，而是走到技术的前沿，去推动整个生态发展。 「暗涌」：互联网和移动互联网时代留给大部分人的惯性认知是，美国擅长搞技术创新，中国更擅长做应用。 梁文锋：我们认为随着经济发展，中国也要逐步成为贡献者，而不是一直搭便车。过去三十多年IT浪潮里，我们基本没有参与到真正的技术创新里。我们已经习惯摩尔定律从天而降，躺在家里18个月就会出来更好的硬件和软件。Scaling Law也在被如此对待。但其实，这是西方主导的技术社区一代代孜孜不倦创造出来的，只因为之前我们没有参与这个过程，以至于忽视了它的存在。 「暗涌」：但这种选择放在中国语境里，也过于奢侈。大模型是一个重投入游戏，不是所有公司都有资本只去研究创新，而不是先考虑商业化。 梁文锋：创新的成本肯定不低，过去那种拿来主义的惯性也和过去的国情有关。但现在，你看无论中国的经济体量，还是字节、腾讯这些大厂的利润，放在全球都不低。我们创新缺的肯定不是资本，而是缺乏信心以及不知道怎么组织高密度的人才实现有效的创新。 「暗涌」：但做大模型，单纯的技术领先也很难形成绝对优势，你们赌的那个更大的东西是什么？ 梁文锋：我们看到的是中国AI不可能永远处在跟随的位置。我们经常说中国AI和美国有一两年差距，但真实的gap是原创和模仿之差。如果这个不改变，中国永远只能是追随者，所以有些探索也是逃不掉的。英伟达的领先，不只是一个公司的努力，而是整个西方技术社区和产业共同努力的结果。他们能看到下一代的技术趋势，手里有路线图。中国AI的发展，同样需要这样的生态。很多国产芯片发展不起来，也是因为缺乏配套的技术社区，只有第二手消息，所以中国必然需要有人站到技术的前沿。 「暗涌」：很多大模型公司都执着地去海外挖人，很多人觉得这个领域前50名的顶尖人才可能都不在中国的公司，你们的人都来自哪里？ 梁文锋：V2模型没有海外回来的人，都是本土的。前50名顶尖人才可能不在中国，但也许我们能自己打造这样的人。 「暗涌」：所以你对这件事也是乐观的？ 梁文锋：我是八十年代在广东一个五线城市长大的。我的父亲是小学老师，九十年代，广东赚钱机会很多，当时有不少家长到我家里来，基本就是家长觉得读书没用。但现在回去看，观念都变了。因为钱不好赚了，连开出租车的机会可能都没了。一代人的时间就变了。以后硬核创新会越来越多。现在可能还不容易被理解，是因为整个社会群体需要被事实教育。当这个社会让硬核创新的人功成名就，群体性想法就会改变。我们只是还需要一堆事实和一个过程。 ⋯⋯ 是不是很牛逼？反正我是被圈粉了，做最难的事情，还要站着把钱赚了，一切信念都基于对真正价值的尊重和判断，这样的80后、90后越来越多的站上了主流舞台，让人非常宽慰，你可以说他们在过去是所谓的「小镇做题家」，但做题怎么了，参与世界未来的塑造，就是最有挑战性的题，喜欢解这样的题，才有乐趣啊。

03
Fazzie
10月前
豆包上线音乐生成了!
​本科和同学想做的事情没想到3年后真的有了，对比suno中文歌词上好不少，特别是生成抖音土嗨DJ音乐简直是神器，批量复制上抖音投放了。
​这将会对其他纯chat产品进行暴击。

豆包

00
Fazzie
11月前
环境变了，你往前推到12年到16年，浙大本科drop或者休学创业的大有人在，那个时候移动互联网带来了海量的创业机会，本科生也是可以做一些什么的，现在的环境本科出去创业VC觉得你是SB也不无道理，VC自己都快没了。 //@Ryan.eth: 对，我感觉核心是在教育体制下，这种人太少，而不是说vc的态度怎么样，which是过去那么多年验证了这个概率是很低的结果。国内也能培养出家境不错，从小学编程的学生，但是他们不会在国内大学读书

Ryan.eth:

00
Fazzie
1年前
Fazzie
1年前
25周年快乐，和这群人相处真的是充值信仰，永远有动力
00
Fazzie
1年前
我超!
00
Fazzie
1年前
Fazzie
1年前
看完全文, 感触很深.
非常佩服朱啸虎, 很敢说, 把很多投资人真实的想法说出来,比起天天吹捧AGI但实际又搞另一套的好多了.
旧的组织没法做新的事情, 移动互联网成功的投资人也没法投出下一个字节跳动(如果不彻底抛弃移动互联网的投资逻辑), 移动互联网几乎所有成功的中国公司都是应用层的成功, 建立在美国为主的底层技术之上. 而文中所有的推导都建立在AI时代中国没有公司能真的做AGI, 继续在美国的技术上做应用层创新
比如 “他们(月之暗面)在国内大模型上领先，但长远还是要证明自己价值，至少能追上美国开源。如果能超过开源，他这个团队是真的有价值了”, 但如果稍微对最新的技术有点认知都知道开源的DeepSeek, Qwen, 闭源的Kimi早就超过LLama2, 开源相对公认的Sota 模型 Mixtral是法国的, 这也是我认为为什么这批金融销售出身的投资人没法去投AGI, 他们对真正顶级的技术人才是没有嗅觉和辨识度的, 只能按照GitHub Star和Google Scholar引用来拼数值(这个是真的, 真有这样的, 部分不代表全部).
旧的组织没法产生AGI, 技术也是这个时代的唯一变量, 变量才是初创公司的机会, 不是变量的那些东西去投资不如去买比特币(反正都是赌), 把技术打平甚至超过OPENAI, 有自己的差异化,实现AGI, 是做成下一个Google, 特斯拉, TikTok的必选项, 这家公司也会贡献未来20年的投资圈一半的利润. 正如文章中说的“错过了字节这样的，贡献了过去二十年投资圈一半的利润。再多的项目可能都弥补不了一个字节”.
屁股决定立场, 文中的结论是对自己的LP负责的表现, 而我一定会站在杨植麟这派,毕竟, 要是投资人都这么务实,不相信AGI, 我TM未来20年的工资哪里来🐶

朱啸虎讲了一个中国现实主义AIGC故事

30
Fazzie
1年前
给自己在的组发个招人广告,
大模型算法系统都有,
社招校招实习均可,
北京上海杭州西雅图均有base
具体JD下面文档

【字节跳动AML2024招聘】大模型等方向火热招聘中】👉

bytedance.larkoffice.com

组内大佬多，资源多，真有万卡A100, 没有做MLsys的可以拒绝万卡A100!!!(我当初就是奔着这个去的。)

我们组万卡集群训练的最新paper,
MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
arxiv.org
10