即刻App年轻人的同好社区
下载
现在的大模型招聘风向导向了（只）招聘毕业3年内的人，各家出的顶尖实习生计划更是吓死人。了解到更夸张的，甚至大学生都看不上，要去招高中生。
理由是，年纪越大，“强化学习的程度太重了”。
我品味了一番。
是吧，年纪越大，思路的“熵”坍塌了，没有探索空间了，而新生代，可能采样效率效率更高（年纪轻可以使劲卷），探索利用的空间更大！
可是仔细想想，真的是这样吗？
如果非要把人做类LLM的比喻，那年纪越大，也可以说预训练学习的token更多，参数量越大，也是更有可能有“涌现”的产生呐！
但也可能大部分情况下，随着年龄的增长，garbage in garbage out，没有scaling law了，又或者是单纯地，硬件跟不上了。
一声叹息😮💨
理由是，年纪越大，“强化学习的程度太重了”。
我品味了一番。
是吧，年纪越大，思路的“熵”坍塌了，没有探索空间了，而新生代，可能采样效率效率更高（年纪轻可以使劲卷），探索利用的空间更大！
可是仔细想想，真的是这样吗？
如果非要把人做类LLM的比喻，那年纪越大，也可以说预训练学习的token更多，参数量越大，也是更有可能有“涌现”的产生呐！
但也可能大部分情况下，随着年龄的增长，garbage in garbage out，没有scaling law了，又或者是单纯地，硬件跟不上了。
一声叹息😮💨
2 00
今天是各地高考日，我们的模型也终于交卷了！
24的下半年，我在点点上进行了半年的摸索，虽然点点不够好，但是它偶尔的灵光，还是令人喜爱的。
25年，受到了r1的冲击，我意识到，围绕着产品做智能，是多么错误的一件事。我果断回到基座团队做自研模型的通用alignment，虽然此时就只有两人。
我坚定地要围绕智能做产品。
理论上，这是一个团队的活，但是小红书就是一个很“神奇”的地方🥹，硬是两个正式员工加一两个实习生，把这个活儿干了，而且看上去还尚可。
虽然大部分人不会直接使用instruct模型，但是技术报告证明了，大模型时代我来过，我花过的卡，排错的实验，白熬的夜，那么多的徒劳，也许终于有了注脚。
模型体验上，均衡取舍下，还是有所牺牲。但至少这是一个好的开始。
只要在行动，一切皆有可能！
24的下半年，我在点点上进行了半年的摸索，虽然点点不够好，但是它偶尔的灵光，还是令人喜爱的。
25年，受到了r1的冲击，我意识到，围绕着产品做智能，是多么错误的一件事。我果断回到基座团队做自研模型的通用alignment，虽然此时就只有两人。
我坚定地要围绕智能做产品。
理论上，这是一个团队的活，但是小红书就是一个很“神奇”的地方🥹，硬是两个正式员工加一两个实习生，把这个活儿干了，而且看上去还尚可。
虽然大部分人不会直接使用instruct模型，但是技术报告证明了，大模型时代我来过，我花过的卡，排错的实验，白熬的夜，那么多的徒劳，也许终于有了注脚。
模型体验上，均衡取舍下，还是有所牺牲。但至少这是一个好的开始。
只要在行动，一切皆有可能！
微信文章
6 10
非常有趣！当混沌系统渐为可控，我相信一定会对应用产生更大的价值！
Golden Gate Claude
0 11
不负责任地推测一下：
在业务上分模块上用大模型“升级”的老板们也许后面渐渐发现，随着效果增长的，还有GPU时的成本，也许有的会选择壮士断腕般将业务用大模型彻底端到端地重做了，原本每个模块可能对应一堆算法，现在只有一个大模型模块，对应几个算法，极端点可能就是一个算法吧。
我想说的是，大模型吞噬一切，一定要站在优势方啊～
在业务上分模块上用大模型“升级”的老板们也许后面渐渐发现，随着效果增长的，还有GPU时的成本，也许有的会选择壮士断腕般将业务用大模型彻底端到端地重做了，原本每个模块可能对应一堆算法，现在只有一个大模型模块，对应几个算法，极端点可能就是一个算法吧。
我想说的是，大模型吞噬一切，一定要站在优势方啊～
3 00