即刻App年轻人的同好社区
下载
置顶
刘知远团队刚在 11 月的《自然》杂志《机器学习》子刊上发表封面文章：Densing Law of LLMS，大模型的密度法则——如何用更少的算力和数据获得相当乃至更多的智能。
我们聊了提升模型能力密度的具体方法，架构、数据、算法、软硬协同环节各自可以做什么。
就像摩尔定律一样，密度法则是一种自我实现，它指向一个智能广泛分布在各种终端的未来。
两个我自己印象深刻的数字：
2023年，中国手机总算力是数据中心的12倍。
1943年，IBM 董事长说全球只需要5台主机就能满足全部计算需求。
我们聊了提升模型能力密度的具体方法，架构、数据、算法、软硬协同环节各自可以做什么。
就像摩尔定律一样，密度法则是一种自我实现，它指向一个智能广泛分布在各种终端的未来。
两个我自己印象深刻的数字：
2023年，中国手机总算力是数据中心的12倍。
1943年，IBM 董事长说全球只需要5台主机就能满足全部计算需求。
144: 从「大而强」到「小而强」，密度法则、RL 的 Scaling Law 和智能的分布式未来
晚点聊 LateTalk
8 00
（然后雇人来分担吃💩）
非常有趣的人物访谈，参与了部分周边前采，也见识了前采可以充分到什么程度。
一边看一边能想到聊天的场景。“毛巾拧了一遍又一遍”得到的精华。
非常有趣的人物访谈，参与了部分周边前采，也见识了前采可以充分到什么程度。
一边看一边能想到聊天的场景。“毛巾拧了一遍又一遍”得到的精华。
https://mp.weixin.qq.com/s/rpV-hUdHE-vQFgBsu0mlZw
3 00
本周国内 AI 市场的一件大事是，豆包手机助手终于亮相。
4 个月前，《晚点》独家报道了字节与中兴的合作动向，直接动机就是那篇独家报道的标题「给 AI 找硬件载体」，而更大的竞争，是谁/什么形态会成为离用户最近的 AI 助手。
这不是做个 AI App 那么简单。更大的机会，或者说对超级 App 公司的更大危险在于：系统级的手机 AI 助手——它会离用户最近，帮用户调取各种手机上的服务，比如总结信息、回信息；点外卖、找商品、买机票；甚至也可以帮你”肝游戏“……
三类公司都与这个”危/机“有关：
-手机厂商
-超级 App 厂商
-AI 厂商（比如第三方模型或应用创业公司）
而借由和中兴合作，字节集齐 3 重角色：超级 App、硬件（和人合作），大模型和AI 能力。
尤其，豆包助手一上来就直接干出了盖帽微信，帮用户操作信息的功能，这确实让人忌惮。
于是，“十八路诸侯讨董卓”，“一个幽灵游荡在手机屏幕”，自豆包手机助手亮相第 2 天，微信、支付宝、拼多多、淘宝等超级 App 陆续开启对豆包手机的限制或禁用。
手机厂商和字节之间的关系更微妙，因为字节这类移动互联网巨头本身是预装 App 的大客户；App 的体验也需要手机厂商系统层的支持，双方有相互牵制的能力。
关于这个话题的更多讨论，推荐三期过往的节目。分别是：
8月：《晚点聊》130 期，和智谱 AutoGLM 负责人刘潇的访谈，这是第三方手机助手/agent 的代表。
www.xiaoyuzhoufm.com
10 月：138 期，和 OPPO 小布助手负责人万玉龙的访谈，这是手机大厂怎么做 AI 助手的视角。
www.xiaoyuzhoufm.com
4 月：110 期，与明势夏令聊 Agent 入口，其中聊到，手机等移动终端的 Agent 入口未来肯定是必争之地，而这一次，曾经逃离腾讯微信九宫格的超级 App 厂商们，不会再想被 “over the top”。
www.xiaoyuzhoufm.com
4 个月前，《晚点》独家报道了字节与中兴的合作动向，直接动机就是那篇独家报道的标题「给 AI 找硬件载体」，而更大的竞争，是谁/什么形态会成为离用户最近的 AI 助手。
这不是做个 AI App 那么简单。更大的机会，或者说对超级 App 公司的更大危险在于：系统级的手机 AI 助手——它会离用户最近，帮用户调取各种手机上的服务，比如总结信息、回信息；点外卖、找商品、买机票；甚至也可以帮你”肝游戏“……
三类公司都与这个”危/机“有关：
-手机厂商
-超级 App 厂商
-AI 厂商（比如第三方模型或应用创业公司）
而借由和中兴合作，字节集齐 3 重角色：超级 App、硬件（和人合作），大模型和AI 能力。
尤其，豆包助手一上来就直接干出了盖帽微信，帮用户操作信息的功能，这确实让人忌惮。
于是，“十八路诸侯讨董卓”，“一个幽灵游荡在手机屏幕”，自豆包手机助手亮相第 2 天，微信、支付宝、拼多多、淘宝等超级 App 陆续开启对豆包手机的限制或禁用。
手机厂商和字节之间的关系更微妙，因为字节这类移动互联网巨头本身是预装 App 的大客户；App 的体验也需要手机厂商系统层的支持，双方有相互牵制的能力。
关于这个话题的更多讨论，推荐三期过往的节目。分别是：
8月：《晚点聊》130 期，和智谱 AutoGLM 负责人刘潇的访谈，这是第三方手机助手/agent 的代表。
www.xiaoyuzhoufm.com
10 月：138 期，和 OPPO 小布助手负责人万玉龙的访谈，这是手机大厂怎么做 AI 助手的视角。
www.xiaoyuzhoufm.com
4 月：110 期，与明势夏令聊 Agent 入口，其中聊到，手机等移动终端的 Agent 入口未来肯定是必争之地，而这一次，曾经逃离腾讯微信九宫格的超级 App 厂商们，不会再想被 “over the top”。
www.xiaoyuzhoufm.com
曼祺_火柴Q: 从市场规模和人群广度看，网页端 Agent 是湖，手机端 Agent 才是海。 现在，大模型公司、移动互联网巨头和手机公司，都想到这片海里寻宝。 他们各自会有怎样的命运，他们之间怎么合纵连横？会是堪比 One Piece 的热闹大戏。 预告一下AutoGLM 2.0 上线的后续剧情： -字节酝酿中的豆包手机（见《晚点》前天的独家报道，shownotes里有贴） -王莆中亲自带队的美团生活助手（代号beam -有资本观望的腾讯 …… -一定会出招的华米OV 诸位，我们一起继续前排观察！
13 01
图文版链接：mp.weixin.qq.com
曼祺_火柴Q: 本期是继 103 和 104 期后，再次聊注意力机制。我邀请了 DeltaNet 的核心贡献者杨松琳， 近期 Qwen-3 Next 和 Kimi Linear 中都使用了 DeltaNet。 前 25 分钟很硬核，我自己比较难跟上[皱眉]，但分享给更专业的听众； 25 分钟之后，我们讨论了当前线性注意力的一些特点： -为什么都要混全注意力？为何还较少用到旗舰模型上？ -Qwen、Kimi、MiniMax、DeepSeek 在注意力改进上的不同选择？ -以及一些脑洞：如果算力无限，还需要线性注意力改进吗？——bound 住我们的不仅是算力，还有数据，而线性注意力的归纳偏见（有一定先验）等特性，让它在数据受限的情况下可能更有学习效率。 今天稍晚也会在《晚点科技》发布本期的文字版，注释会更详细，到时我会把图文链接更新到 shownotes 和留言区。
1 00
本期是继 103 和 104 期后，再次聊注意力机制。我邀请了 DeltaNet 的核心贡献者杨松琳， 近期 Qwen-3 Next 和 Kimi Linear 中都使用了 DeltaNet。
前 25 分钟很硬核，我自己比较难跟上[皱眉]，但分享给更专业的听众；
25 分钟之后，我们讨论了当前线性注意力的一些特点：
-为什么都要混全注意力？为何还较少用到旗舰模型上？
-Qwen、Kimi、MiniMax、DeepSeek 在注意力改进上的不同选择？
-以及一些脑洞：如果算力无限，还需要线性注意力改进吗？——bound 住我们的不仅是算力，还有数据，而线性注意力的归纳偏见（有一定先验）等特性，让它在数据受限的情况下可能更有学习效率。
今天稍晚也会在《晚点科技》发布本期的文字版，注释会更详细，到时我会把图文链接更新到 shownotes 和留言区。
前 25 分钟很硬核，我自己比较难跟上[皱眉]，但分享给更专业的听众；
25 分钟之后，我们讨论了当前线性注意力的一些特点：
-为什么都要混全注意力？为何还较少用到旗舰模型上？
-Qwen、Kimi、MiniMax、DeepSeek 在注意力改进上的不同选择？
-以及一些脑洞：如果算力无限，还需要线性注意力改进吗？——bound 住我们的不仅是算力，还有数据，而线性注意力的归纳偏见（有一定先验）等特性，让它在数据受限的情况下可能更有学习效率。
今天稍晚也会在《晚点科技》发布本期的文字版，注释会更详细，到时我会把图文链接更新到 shownotes 和留言区。
143: 再聊 Attention：阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进
晚点聊 LateTalk
13 43
万圈，《晚点》正在关注香港大火事件，内容形式是做一组“当事人”口述，包括但不限于火灾亲历者及家属朋友、志愿者、施工单位、消防员/工程专家、香港社区单位、物业保险等，希望尽可能全面、客观得记录这场让人痛心的世纪灾难。如果大家有认识相关的朋友，欢迎联系我们。可直接加我（momochoqo）
16 34
Shownotes 的这张插图里就有两台 Insta360 X 系列的全景相机，当天在现场也有几台大疆 Pocket 3。
所以 to C 科技消费类公司还有一个外部效应：就是文化软实力。
户晨风的经典句式，现在可以套上大量中国产品：汽车就是比亚迪，无人机就是大疆，全景相机就是 Insta，电池就是宁德时代，3C就是黑神话……（当然有些空我填得理直气壮，有些还是有点摇摆 😄
所以 to C 科技消费类公司还有一个外部效应：就是文化软实力。
户晨风的经典句式，现在可以套上大量中国产品：汽车就是比亚迪，无人机就是大疆，全景相机就是 Insta，电池就是宁德时代，3C就是黑神话……（当然有些空我填得理直气壮，有些还是有点摇摆 😄
曼祺_火柴Q: 我本来考虑过一个无厘头标题：洪小平怎么给我“卖拐”？！😆[旺柴] 当然这不是像赵本山那样，把人忽悠下智商高地，而是体验。 我自己试驾两次后，确实觉得体验很好，两次中间隔了半个月，也能感到产品迭代很快，比如 Waypoint 这个功能的交互就变了，之前是用摇杆，现在也可以直接 “point”。 最近在想的是，消费科技类创业，直接而后置的观察指标上看产品本身；更内在和前置的指标是看一个团队的整体研发、需求洞察效率，还有一个底子里带出来的东西，就是标准和品味—不过最后一点是最微妙的，品味很难简单地分高低，它是一个风格和偏好问题。而具体做什么方向，其实可以调整（比如这期也有略微提及的松灵就是一个例子） 现在“蔚然成风”的大疆和追觅系创业，大多都是消费科技创业。我也想聊更多，去丰富这个观察视角。
2 10
我本来考虑过一个无厘头标题：洪小平怎么给我“卖拐”？！😆[旺柴]
当然这不是像赵本山那样，把人忽悠下智商高地，而是体验。
我自己试驾两次后，确实觉得体验很好，两次中间隔了半个月，也能感到产品迭代很快，比如 Waypoint 这个功能的交互就变了，之前是用摇杆，现在也可以直接 “point”。
最近在想的是，消费科技类创业，直接而后置的观察指标上看产品本身；更内在和前置的指标是看一个团队的整体研发、需求洞察效率，还有一个底子里带出来的东西，就是标准和品味—不过最后一点是最微妙的，品味很难简单地分高低，它是一个风格和偏好问题。而具体做什么方向，其实可以调整（比如这期也有略微提及的松灵就是一个例子）
现在“蔚然成风”的大疆和追觅系创业，大多都是消费科技创业。我也想聊更多，去丰富这个观察视角。
当然这不是像赵本山那样，把人忽悠下智商高地，而是体验。
我自己试驾两次后，确实觉得体验很好，两次中间隔了半个月，也能感到产品迭代很快，比如 Waypoint 这个功能的交互就变了，之前是用摇杆，现在也可以直接 “point”。
最近在想的是，消费科技类创业，直接而后置的观察指标上看产品本身；更内在和前置的指标是看一个团队的整体研发、需求洞察效率，还有一个底子里带出来的东西，就是标准和品味—不过最后一点是最微妙的，品味很难简单地分高低，它是一个风格和偏好问题。而具体做什么方向，其实可以调整（比如这期也有略微提及的松灵就是一个例子）
现在“蔚然成风”的大疆和追觅系创业，大多都是消费科技创业。我也想聊更多，去丰富这个观察视角。
141: 大疆激光雷达前负责人做了台“电动轮椅”？与 Strutt 洪小平聊创业两年半：不做人形也能通向具身
晚点聊 LateTalk
1 11
AI·大麻·homeless·旧金山
旧金山 AI 广告牌不完全记录。城里、硅谷到城里的公路两旁都很多。（这次正好和刚从纽约过来的朋友一起，说东边都是 crypto 的广告。）
但这只是湾区街景的一面，大麻的糊臭味和排泄物“蒸馏”后的骚气徘徊在十字路口；停车场里的“Park Smart”标志提醒你别留财务在车里，如果你“真的爱它”；衣衫破烂的乞讨者拿着写着“hungry”的纸板穿行在车流。我在一个活动上遇到了刚被亚马逊1.4万大裁员影响的员工。
傍晚从金门大桥向南开，从远处看泛美金字塔和周围的 skyline，依然耀眼，字面上的金光闪闪。
但走近去，这个城市正发生着双向演化。一个我没拍下的广告牌是：grow faster than anything in the city，这也可以反过来说。
（老版银翼杀手里的 Tryrell 公司总部就很像一个金字塔，但不是泛美这种很尖的造型。旧金山好像越来越符合赛博朋克了。
旧金山 AI 广告牌不完全记录。城里、硅谷到城里的公路两旁都很多。（这次正好和刚从纽约过来的朋友一起，说东边都是 crypto 的广告。）
但这只是湾区街景的一面，大麻的糊臭味和排泄物“蒸馏”后的骚气徘徊在十字路口；停车场里的“Park Smart”标志提醒你别留财务在车里，如果你“真的爱它”；衣衫破烂的乞讨者拿着写着“hungry”的纸板穿行在车流。我在一个活动上遇到了刚被亚马逊1.4万大裁员影响的员工。
傍晚从金门大桥向南开，从远处看泛美金字塔和周围的 skyline，依然耀眼，字面上的金光闪闪。
但走近去，这个城市正发生着双向演化。一个我没拍下的广告牌是：grow faster than anything in the city，这也可以反过来说。
（老版银翼杀手里的 Tryrell 公司总部就很像一个金字塔，但不是泛美这种很尖的造型。旧金山好像越来越符合赛博朋克了。
28 11