即刻App年轻人的同好社区
下载
今天图书馆我看书打算下午去。
你是不是读完甚至都没有发现，这个句子的语序其实是错乱的？
那是因为我们太熟悉中文了。大脑会自动完成"注意力分配"：精准抓取句子里的核心关键词，自动忽略语序的瑕疵，直接拼接出完整、正确的语义。
不用逐字纠结顺序，不用顺着固定序列死读，只抓重点就懂全貌。
其实只要你能理解这一点，你就彻底理解了现在所有大模型的底层工作逻辑——注意力机制。
最近在读Demis Hassabis的《Infinite Machine》，复盘AI架构迭代的过程，刚好把生活细节和技术原理彻底打通了。
以前我总觉得Transformer、注意力机制特别抽象，啃论文、看定义都很难具象感知。直到把它和中英文的语言特性、人脑阅读习惯放在一起对比，瞬间通透。
最早期的AI模型是RNN循环神经网络。
它的工作方式非常机械、死板，和我们学英语、读英文的逻辑一模一样：
必须严格按照从前到后的顺序，一字一句串行读完。只有走完完整序列，才能理解句子意思。
这种机制极其适配英文体系。
英文是强语序、强结构的语言，语法、时态、逻辑关系全部依附文字顺序，语序一旦变动，语义就会出错。所以早期按顺序读取的AI模型，处理英文文本是完全契合的。
但中文是相反的逻辑。
中文重语义、轻语序，没有严苛的结构束缚。
我们的大脑天生自带"全局注意力筛选能力"，不依赖线性顺序，跨位置捕捉关键信息，这也是为什么错乱的中文句子，我们依旧能秒懂。
而2017年《Attention Is All You Need》这篇封神论文，带来的核心突破就在这里：
AI抛弃了RNN死板的线性顺序读取，复刻了人类的高效认知方式。
注意力机制不再逐字排队读取文本，而是像我们读中文乱序句一样：
全局扫描所有内容，自动给核心信息加高权重、弱化无效信息，自由跨位置建立关联，优先读懂语义，而非拘泥顺序。
从RNN到Transformer的迭代，不是简单的技术升级。
是AI从"死板按序读书的机器"，进化成了"会筛选重点、懂全局语义的类人思维"。
原来感觉高深莫测的大模型底层原理，底层机制并不复杂。
我们与生俱来的中文阅读能力，就是人工智能注意力机制的朴素雏形。
你是不是读完甚至都没有发现，这个句子的语序其实是错乱的？
那是因为我们太熟悉中文了。大脑会自动完成"注意力分配"：精准抓取句子里的核心关键词，自动忽略语序的瑕疵，直接拼接出完整、正确的语义。
不用逐字纠结顺序，不用顺着固定序列死读，只抓重点就懂全貌。
其实只要你能理解这一点，你就彻底理解了现在所有大模型的底层工作逻辑——注意力机制。
最近在读Demis Hassabis的《Infinite Machine》，复盘AI架构迭代的过程，刚好把生活细节和技术原理彻底打通了。
以前我总觉得Transformer、注意力机制特别抽象，啃论文、看定义都很难具象感知。直到把它和中英文的语言特性、人脑阅读习惯放在一起对比，瞬间通透。
最早期的AI模型是RNN循环神经网络。
它的工作方式非常机械、死板，和我们学英语、读英文的逻辑一模一样：
必须严格按照从前到后的顺序，一字一句串行读完。只有走完完整序列，才能理解句子意思。
这种机制极其适配英文体系。
英文是强语序、强结构的语言，语法、时态、逻辑关系全部依附文字顺序，语序一旦变动，语义就会出错。所以早期按顺序读取的AI模型，处理英文文本是完全契合的。
但中文是相反的逻辑。
中文重语义、轻语序，没有严苛的结构束缚。
我们的大脑天生自带"全局注意力筛选能力"，不依赖线性顺序，跨位置捕捉关键信息，这也是为什么错乱的中文句子，我们依旧能秒懂。
而2017年《Attention Is All You Need》这篇封神论文，带来的核心突破就在这里：
AI抛弃了RNN死板的线性顺序读取，复刻了人类的高效认知方式。
注意力机制不再逐字排队读取文本，而是像我们读中文乱序句一样：
全局扫描所有内容，自动给核心信息加高权重、弱化无效信息，自由跨位置建立关联，优先读懂语义，而非拘泥顺序。
从RNN到Transformer的迭代，不是简单的技术升级。
是AI从"死板按序读书的机器"，进化成了"会筛选重点、懂全局语义的类人思维"。
原来感觉高深莫测的大模型底层原理，底层机制并不复杂。
我们与生俱来的中文阅读能力，就是人工智能注意力机制的朴素雏形。
13 01
在 AI 的帮助下，我读完了 AI 领域最关键的十篇论文，心潮澎湃。
75年间，后来成为亿万富翁、独角兽公司创始人、诺贝尔奖获得者或依然少为人知的学者们，在AI这个大舞台上你方唱罢我登场，每一篇论文背后都有着充满张力的判断、偏见与赌局。
1948 年，香农发表《通信的数学理论》，最先把语言放进了数学坐标系，并且提出，预测即压缩，如果信号传输的另一方和你有越多上下文，越懂你，就越能预测你压缩后的内容实际上是什么。
两年后，一位叫图灵的英国人提出了一个想法：别再争论机器到底能不能思考了，如果你通过语言交互，根本判断不出来对方是人还是机器，那从结果来说，机器不就是实现了人思考的过程吗？
这两位英国人定下整个AI时代的关键问题：机器思考不是个哲学问题，是个工程问题；这个工程问题，是可以通过压缩实现的。
如果机器确实可以“思考”，那怎么思考才能得到人类想要的正确答案呢？
Rumelhart、辛顿、Williams三位学者在1986年提出了反向传播算法，辛顿因为这一系列工作拿了 2024 年诺贝尔物理学奖。在反向传播之前，大家做AI的方法是：人类专家把知识写成规则（猫有四条腿、猫有胡须） → 输入计算机 → 计算机按规则推理 → 产生智能，但是这些规则写不完，且容易产生冲突，遇到狗就不知道怎么办了。
反向传播的思路是，不告诉计算机任何规则，只给它海量的猫的图片和不是猫的图片，让它自己从错误中学习"猫"的特征，这意味着：智能不需要被编程，可以被学习出来。
辛顿的博士后Yann LeCun沿袭了神经网络这条路，但其实当时学界的主流是SVM，SVM的发明者是一位俄罗斯数学家Vladimir Vapnik，他相信"理论先行"——算法必须有严格数学证明才值得做。Yann LeCun 则相信"工程先行"——能用就是好东西，不需要严格的数学证明。
90年代，学术圈喜欢有理论保证的东西。Vapnik 的论文能发顶刊，神经网络只能发会议。当时主流期刊编辑甚至会把"神经网络"几个字从论文标题里删掉，因为太"民科"。
当时可供训练的数据少、算力弱、神经网络确实跑不出好结果，SVM在文本分类、垃圾邮件过滤、人脸识别等领域确实表现更好，但10年后，时代变了。
2006年，华裔科学家李飞飞在普林斯顿大学刚拿到教职，就申请了了一个疯狂的项目：她要构建一个有 1500 万张图片、2 万类的数据集，她打算从 Google、Yahoo、Bing 等图片搜索引擎批量下载图片，每张图标注出，这是猫还是狗，具体是苏格兰牧羊犬还是拉布拉多，这个想法的疯狂之处在于：
1500 万张图，每张哪怕只看 1 秒——也要 17000 个工时，相当于 5 个人不吃不喝标注 1 年。
2007 年之前，AI 视觉研究的标准任务是：在 9000 张图里区分 100 类物体，准确率能到 60-70% 就算很厉害，当时学者们觉得算法不够好，所以要研究更精妙的算法。
李飞飞的判断则是：算法不是瓶颈——数据才是。
这个没拿到终身教职的助理教授，赌上了一条没人看好的路，在亚马逊的众包平台上，花费3年请了全球167 个国家的 49000 名工人，花费百万美元，标注出了1400 万张图片，一个超大型的图片数据库ImageNet发布了，一开始用SVM来识别图片，错误率达到28%，学界又开始怀疑：是不是这事真的做不到？
直到2012年9月，AI界迎来了史上最重要的一周。
辛顿的两个学生 Alex Krizhevsky 和 Ilya Sutskever（对，就是后来 OpenAI 那个 Ilya），用一个深度卷积神经网络参加了 ImageNet 比赛，识别图片的错误率从 26% 直接降到 15%，比第二名（SVM）低了整整 10 个百分点。
那一周之后，所有顶级实验室连夜重组研究方向，转向深度学习；Ilya Sutskever 加入 Google，4 年后跟Sam Altman创办了 OpenAI，整个 SVM 时代结束了。
2010年，国际象棋神童、剑桥神经科学博士哈萨比斯在创办Deepmind的时候，就已经从神经科学的学习中意识到：深度学习与强化学习必须结合。
接下来 8 年是 AI 史上少见的连胜：DQN、AlphaGo、AlphaZero、AlphaFold。
后来Deepmind被谷歌收购，2017 年 6 月，同样是谷歌的另一支团队发表了 Transformer 论文。哈萨比斯没有跟进，因为他并不认为语言是智能的表现形式。
他也低估了互联网文本的丰富性。他后来反思：如果五六年前你问我，人类文明有多复杂？我的回答大概会是，接近无限。但事实证明，互联网上大约有 14 万亿个单词，恰好够覆盖人类几乎所有行为模式。
2022 年底 ChatGPT 风靡全球时，DeepMind 不再被视为世界顶级 AI 实验室。哈萨比斯承认：这是我第一个判断失误的地方。
这一幕幕上演的AI大戏中，让我觉得最有趣的是，不同经历、背景的人带着完全不同的动机来做AI这件事。
有人只是为了解决工作中非常具体的问题，却没想到开启了一个时代。LeCun 希望让AI实现“看见”的功能，只是为了识别银行支票；Transformer 8 人2024 年 在 NVIDIA GTC 大会上首次同台时，其中一位作者说：我们写这篇论文时，没想过它会改变世界。我们只是想让 Google 翻译更好用。
有人是为了推动科学的进步。哈萨比斯把AGI像口头禅一样挂在嘴上，是因为他想要破解上帝的算法，他也相信，自然界中任何可生成或存在的模式，都能被经典学习算法高效发现并建模，这也对应了他功成名就后没有选择出去创业做个万亿市值的公司，而是继续做AI for Science。
有人擅长组局弄权，但往往这样的人能快速把事推进下去。Sam Altman没什么学术背景，来自硅谷风投机构。2015 年他和马斯克在加州的一次晚餐上达成共识，要做一个非营利组织，对抗谷歌可能形成的 AI 垄断，把 AGI 的成果造福全人类。马斯克实际投了4500万美元，组织章程写明：所有研究成果开源，不追求商业利益。
10 年后，OpenAI 估值 8520 亿美元，这家曾经的非盈利机构一度成了硅谷最贵的盈利公司。在那场宫斗一般的权力博弈中，Altman被董事会突然解雇，4 天后又被重新请回，背后是员工集体请愿、微软施压、董事会重组，但最终他还是赢了。
他的前老板，YC 创始人Paul Graham对他有一句评价：Sam Altman 就是那种人，你可以把他空降到一个食人族的小岛上，5 年后回来，他会是那里的国王。
回头看这 75 年，一个明显的变化：以前一个技术路线可以主导学界十几年。SVM 派主导 1990-2010 年代初，深度学习派主导 2012 年至今。研究者可以在顶刊或会议上慢慢争论。
现在不行了。Transformer 论文 8 作者，6 个变成亿万富翁；Scaling Laws 10 作者，6 个集体创办一家估值万亿美元的公司。
一篇论文不再是"发在哪里的区别"，是"亿万富翁还是普通研究员的区别"，是"一家公司能从几百亿涨到万亿、还是几个月内被快速超越的区别"，是"一步落后接着步步落后的区别"。
押注一个方向还是同时做很多方向？做基础模型还是做应用层？做能力还是做安全？这些选择已经不是研究者个人能慢慢思考的事。
舞台变大了，每个角色登场的时间窗口在变短。下一个登场的人会是谁，从哪个角度切入，我猜不出。但根据过去 75 年的规律，他可能在做一件今天看起来“无用”的事，真正改变世界的人，在改变世界之前，看起来都不像在改变世界。
75年间，后来成为亿万富翁、独角兽公司创始人、诺贝尔奖获得者或依然少为人知的学者们，在AI这个大舞台上你方唱罢我登场，每一篇论文背后都有着充满张力的判断、偏见与赌局。
1948 年，香农发表《通信的数学理论》，最先把语言放进了数学坐标系，并且提出，预测即压缩，如果信号传输的另一方和你有越多上下文，越懂你，就越能预测你压缩后的内容实际上是什么。
两年后，一位叫图灵的英国人提出了一个想法：别再争论机器到底能不能思考了，如果你通过语言交互，根本判断不出来对方是人还是机器，那从结果来说，机器不就是实现了人思考的过程吗？
这两位英国人定下整个AI时代的关键问题：机器思考不是个哲学问题，是个工程问题；这个工程问题，是可以通过压缩实现的。
如果机器确实可以“思考”，那怎么思考才能得到人类想要的正确答案呢？
Rumelhart、辛顿、Williams三位学者在1986年提出了反向传播算法，辛顿因为这一系列工作拿了 2024 年诺贝尔物理学奖。在反向传播之前，大家做AI的方法是：人类专家把知识写成规则（猫有四条腿、猫有胡须） → 输入计算机 → 计算机按规则推理 → 产生智能，但是这些规则写不完，且容易产生冲突，遇到狗就不知道怎么办了。
反向传播的思路是，不告诉计算机任何规则，只给它海量的猫的图片和不是猫的图片，让它自己从错误中学习"猫"的特征，这意味着：智能不需要被编程，可以被学习出来。
辛顿的博士后Yann LeCun沿袭了神经网络这条路，但其实当时学界的主流是SVM，SVM的发明者是一位俄罗斯数学家Vladimir Vapnik，他相信"理论先行"——算法必须有严格数学证明才值得做。Yann LeCun 则相信"工程先行"——能用就是好东西，不需要严格的数学证明。
90年代，学术圈喜欢有理论保证的东西。Vapnik 的论文能发顶刊，神经网络只能发会议。当时主流期刊编辑甚至会把"神经网络"几个字从论文标题里删掉，因为太"民科"。
当时可供训练的数据少、算力弱、神经网络确实跑不出好结果，SVM在文本分类、垃圾邮件过滤、人脸识别等领域确实表现更好，但10年后，时代变了。
2006年，华裔科学家李飞飞在普林斯顿大学刚拿到教职，就申请了了一个疯狂的项目：她要构建一个有 1500 万张图片、2 万类的数据集，她打算从 Google、Yahoo、Bing 等图片搜索引擎批量下载图片，每张图标注出，这是猫还是狗，具体是苏格兰牧羊犬还是拉布拉多，这个想法的疯狂之处在于：
1500 万张图，每张哪怕只看 1 秒——也要 17000 个工时，相当于 5 个人不吃不喝标注 1 年。
2007 年之前，AI 视觉研究的标准任务是：在 9000 张图里区分 100 类物体，准确率能到 60-70% 就算很厉害，当时学者们觉得算法不够好，所以要研究更精妙的算法。
李飞飞的判断则是：算法不是瓶颈——数据才是。
这个没拿到终身教职的助理教授，赌上了一条没人看好的路，在亚马逊的众包平台上，花费3年请了全球167 个国家的 49000 名工人，花费百万美元，标注出了1400 万张图片，一个超大型的图片数据库ImageNet发布了，一开始用SVM来识别图片，错误率达到28%，学界又开始怀疑：是不是这事真的做不到？
直到2012年9月，AI界迎来了史上最重要的一周。
辛顿的两个学生 Alex Krizhevsky 和 Ilya Sutskever（对，就是后来 OpenAI 那个 Ilya），用一个深度卷积神经网络参加了 ImageNet 比赛，识别图片的错误率从 26% 直接降到 15%，比第二名（SVM）低了整整 10 个百分点。
那一周之后，所有顶级实验室连夜重组研究方向，转向深度学习；Ilya Sutskever 加入 Google，4 年后跟Sam Altman创办了 OpenAI，整个 SVM 时代结束了。
2010年，国际象棋神童、剑桥神经科学博士哈萨比斯在创办Deepmind的时候，就已经从神经科学的学习中意识到：深度学习与强化学习必须结合。
接下来 8 年是 AI 史上少见的连胜：DQN、AlphaGo、AlphaZero、AlphaFold。
后来Deepmind被谷歌收购，2017 年 6 月，同样是谷歌的另一支团队发表了 Transformer 论文。哈萨比斯没有跟进，因为他并不认为语言是智能的表现形式。
他也低估了互联网文本的丰富性。他后来反思：如果五六年前你问我，人类文明有多复杂？我的回答大概会是，接近无限。但事实证明，互联网上大约有 14 万亿个单词，恰好够覆盖人类几乎所有行为模式。
2022 年底 ChatGPT 风靡全球时，DeepMind 不再被视为世界顶级 AI 实验室。哈萨比斯承认：这是我第一个判断失误的地方。
这一幕幕上演的AI大戏中，让我觉得最有趣的是，不同经历、背景的人带着完全不同的动机来做AI这件事。
有人只是为了解决工作中非常具体的问题，却没想到开启了一个时代。LeCun 希望让AI实现“看见”的功能，只是为了识别银行支票；Transformer 8 人2024 年 在 NVIDIA GTC 大会上首次同台时，其中一位作者说：我们写这篇论文时，没想过它会改变世界。我们只是想让 Google 翻译更好用。
有人是为了推动科学的进步。哈萨比斯把AGI像口头禅一样挂在嘴上，是因为他想要破解上帝的算法，他也相信，自然界中任何可生成或存在的模式，都能被经典学习算法高效发现并建模，这也对应了他功成名就后没有选择出去创业做个万亿市值的公司，而是继续做AI for Science。
有人擅长组局弄权，但往往这样的人能快速把事推进下去。Sam Altman没什么学术背景，来自硅谷风投机构。2015 年他和马斯克在加州的一次晚餐上达成共识，要做一个非营利组织，对抗谷歌可能形成的 AI 垄断，把 AGI 的成果造福全人类。马斯克实际投了4500万美元，组织章程写明：所有研究成果开源，不追求商业利益。
10 年后，OpenAI 估值 8520 亿美元，这家曾经的非盈利机构一度成了硅谷最贵的盈利公司。在那场宫斗一般的权力博弈中，Altman被董事会突然解雇，4 天后又被重新请回，背后是员工集体请愿、微软施压、董事会重组，但最终他还是赢了。
他的前老板，YC 创始人Paul Graham对他有一句评价：Sam Altman 就是那种人，你可以把他空降到一个食人族的小岛上，5 年后回来，他会是那里的国王。
回头看这 75 年，一个明显的变化：以前一个技术路线可以主导学界十几年。SVM 派主导 1990-2010 年代初，深度学习派主导 2012 年至今。研究者可以在顶刊或会议上慢慢争论。
现在不行了。Transformer 论文 8 作者，6 个变成亿万富翁；Scaling Laws 10 作者，6 个集体创办一家估值万亿美元的公司。
一篇论文不再是"发在哪里的区别"，是"亿万富翁还是普通研究员的区别"，是"一家公司能从几百亿涨到万亿、还是几个月内被快速超越的区别"，是"一步落后接着步步落后的区别"。
押注一个方向还是同时做很多方向？做基础模型还是做应用层？做能力还是做安全？这些选择已经不是研究者个人能慢慢思考的事。
舞台变大了，每个角色登场的时间窗口在变短。下一个登场的人会是谁，从哪个角度切入，我猜不出。但根据过去 75 年的规律，他可能在做一件今天看起来“无用”的事，真正改变世界的人，在改变世界之前，看起来都不像在改变世界。
149 1052
给各位AI大博主们提供个选题，从人文视角出发，以AI路上发展的关键性论文和书籍为基础，梳理AI是怎么一步步走到今天的。
图灵在 1950 年就提出思考是个工程问题，不是哲学问题，联系Solomonoff 归纳和Kolmogorov 复杂度，就能理解为什么哈萨比斯相信AGI最终是可以实现的。
香农在 1951 年用人来做猜字游戏，相当于用人脑来预测英文中的下一个字母应该是什么，也就是今天大模型生成的基础。
理解 60 年代越战时期人们对机器用于战争的恐惧，才能理解布劳提根把计算机看成“仁慈恩典的机器”，背后带着多大的乐观，回到现在，Anthroipic创始人引用这首诗来表达他对AI的期待，又体现了他多么乐观又谨慎的态度。
科技史真是非常有趣，加入人文视角会更有趣，期待看到这样的播客或者长视频。
图灵在 1950 年就提出思考是个工程问题，不是哲学问题，联系Solomonoff 归纳和Kolmogorov 复杂度，就能理解为什么哈萨比斯相信AGI最终是可以实现的。
香农在 1951 年用人来做猜字游戏，相当于用人脑来预测英文中的下一个字母应该是什么，也就是今天大模型生成的基础。
理解 60 年代越战时期人们对机器用于战争的恐惧，才能理解布劳提根把计算机看成“仁慈恩典的机器”，背后带着多大的乐观，回到现在，Anthroipic创始人引用这首诗来表达他对AI的期待，又体现了他多么乐观又谨慎的态度。
科技史真是非常有趣，加入人文视角会更有趣，期待看到这样的播客或者长视频。
18 77
在AI帮助下，看了信息论奠基人Claude Shannon的两篇论文，和DeepMind在2024年发表的《Language Modeling Is Compression》，非常受启发，甚至可以说对人类处理信息的方式豁然开朗。
以前我总在想，好的写作者和差的写作者差距到底在哪呢？我的模糊感觉是，好的写作者对事物本质抓取、描述都更加精准，而且描述都简明扼要，没什么废话。看《百年孤独》的时候我就是这种感觉，每一句话都精准有效，以至于描述了一个家族一百年故事的史诗，竟然只是薄薄一本。
看完这几篇论文我明白了：预测即压缩，压缩即智能。用一个很简单的例子来帮助理解：
2005 年，发短信每条 1 毛钱，每条限 70 个字。你要发一条短信给好朋友：
"我今天晚上回家吃饭"
9 个字，要花 1 毛。但你和这个好朋友每天都通短信，他对你的话有极强的预期。
于是你想了个办法：你们事先约定一套暗号。
* 如果你想说"我今天晚上回家吃饭”，你只发1
* 如果你想说"我今天晚上不回家”，你发2
你只发了一个字符 1， 对方完整地理解了 9 个字。因为对方脑子里已经有一个“预测模型”了，他能猜到你最可能说什么。这就是预测和压缩的关系。
GPT 是一个预测下一个字的机器。给它"今天天气真"，它会预测下一个最可能是"好"。训练 LLM 不是在教它"理解语言"，而是在让它"成为更好的语言压缩器"。
DeepMind 2023 年做了个实验，用Chinchilla 70B这个模型压缩图像、音频，分别击败了图像/音频领域的专用压缩器 PNG（为图像专门设计的、用了几十年优化迭代的压缩器）和 FLAC（为音频设计的压缩器），它们很“懂”自己处理的数据。而 Chinchilla 一辈子没见过几张图、几段音频，它读的全是网页和书。结果它顺手就把这两个专家干翻了。
为什么呢？大模型不是懂这些数据，而是极致的压缩能力意味着对数据本质规律的捕捉，大模型抓住的，是某种跨越模态的通用规律提取能力。
最强的人类写作者、研究者，一定是在捕捉规律上做得尤其突出，很多人在不同领域都能做出很好的成绩，大概也是捕捉了不同领域底层的一些规律。
所以复盘、反思、总结才如此重要，如果你没有这个尝试捕捉规律的动作，大概率下一次问题出现时，你还是无法压缩和预测。
悟了。
以前我总在想，好的写作者和差的写作者差距到底在哪呢？我的模糊感觉是，好的写作者对事物本质抓取、描述都更加精准，而且描述都简明扼要，没什么废话。看《百年孤独》的时候我就是这种感觉，每一句话都精准有效，以至于描述了一个家族一百年故事的史诗，竟然只是薄薄一本。
看完这几篇论文我明白了：预测即压缩，压缩即智能。用一个很简单的例子来帮助理解：
2005 年，发短信每条 1 毛钱，每条限 70 个字。你要发一条短信给好朋友：
"我今天晚上回家吃饭"
9 个字，要花 1 毛。但你和这个好朋友每天都通短信，他对你的话有极强的预期。
于是你想了个办法：你们事先约定一套暗号。
* 如果你想说"我今天晚上回家吃饭”，你只发1
* 如果你想说"我今天晚上不回家”，你发2
你只发了一个字符 1， 对方完整地理解了 9 个字。因为对方脑子里已经有一个“预测模型”了，他能猜到你最可能说什么。这就是预测和压缩的关系。
GPT 是一个预测下一个字的机器。给它"今天天气真"，它会预测下一个最可能是"好"。训练 LLM 不是在教它"理解语言"，而是在让它"成为更好的语言压缩器"。
DeepMind 2023 年做了个实验，用Chinchilla 70B这个模型压缩图像、音频，分别击败了图像/音频领域的专用压缩器 PNG（为图像专门设计的、用了几十年优化迭代的压缩器）和 FLAC（为音频设计的压缩器），它们很“懂”自己处理的数据。而 Chinchilla 一辈子没见过几张图、几段音频，它读的全是网页和书。结果它顺手就把这两个专家干翻了。
为什么呢？大模型不是懂这些数据，而是极致的压缩能力意味着对数据本质规律的捕捉，大模型抓住的，是某种跨越模态的通用规律提取能力。
最强的人类写作者、研究者，一定是在捕捉规律上做得尤其突出，很多人在不同领域都能做出很好的成绩，大概也是捕捉了不同领域底层的一些规律。
所以复盘、反思、总结才如此重要，如果你没有这个尝试捕捉规律的动作，大概率下一次问题出现时，你还是无法压缩和预测。
悟了。
16 50