放假前和晚点一起聊了下对GPT o1的认识以及行业动态，祝朋友们中秋节快乐🎑

中秋节前最后一次更新：flux dev 商业版上线，大约一周后文生图产品就开始收费了

赞

DeepSeek模型的生成结果

前几天@李继刚 基于Claude设计了一个有趣的毒舌prompt- 汉语新解，深得网友喜欢，实现这种效果需要大模型能洞察一个词的深层含义，还得用辛辣幽默精炼的语言把本质揭示出来，最终生成html代码实现视觉布局。那国产大模型能不能做到呢，可以，结构化Prompt高手@云中江树 设计了一个能用国产模型的汉语新解prompt，SiliconFlow小伙伴儿快速实现了一个原型，发现GLM4-9B, Qwen 2 72B, DeepSeek V2.5都能实现这些效果。

o1 上线另一项重大启发：inference scaling law,在inference 上多花点算力比在训练上继续投入算力收益要大的多，inference的空间和价值又增加了。

无论怎么玩，还是统计，对数据的归纳：1，next token prediction, “吃”后面一般是“饭”；2，所谓常识，“饿了”要“吃饭”，“吃饭”会“变饱”，也都是因为训练数据里包含大量这样的模式；3，单纯pre train对reasoning做的不太好，也是因为训练数据里 A->B->C->D 这样任务级别粗颗粒度、长序列的模式匮乏，不足以让模型记忆这种规律，那就需要通过构建reward model的方式创造、合成足够的数据教会模型。这一套方法论已被实践证明很有效，剩下就是在各个行业复制，困难的应该还是构建数据闭环，譬如具身智能、世界模型，怎么高效收集数据是关键。

o1 发布引发人们对思维链/self play强化学习在大模型里应用的关注，可能短期又会产生很多像之前对涌现的迷信或对幻觉的迷惑，其实大部分现象用过去的理论能解释，大模型技术的能力边界在理论上已经开始变得清晰，推荐王立威老师这篇访谈，用通俗易懂的语言解释了一些很本质的道理。

最近平台更新升级太多了，只能都攒到一篇文章了，欢迎朋友们继续鞭策，提改进建议，要做的事情太多了

基础设施超前投资，“要致富先修路”的逻辑。中长期，AI价值无处不在也是必然。现在整个行业的瓶颈在应用，怎么才能让应用更多更好呢，我们为这个目标做点事