即刻App年轻人的同好社区
下载
都在传李录的朋友圈截图，除去文字部分，更好奇的是那个配图。
是美国艺术家Daniel W. Pinkham的作品Winter on Tamarack Bridge。
艺术家自述：猛犸湖地区一直是我灵感的源泉。几年前，我在塔玛拉克小屋过冬时，画了一系列关于双子湖上那座古老木桥的写生作品。作为一名艺术家，很多时候，在不将人类纳入绘画的情况下，暗示我们与自然的关系是一件很有趣的事情。在这幅作品中，桥梁足以暗示我们的存在，承认美丽强大的存在。
是美国艺术家Daniel W. Pinkham的作品Winter on Tamarack Bridge。
艺术家自述：猛犸湖地区一直是我灵感的源泉。几年前，我在塔玛拉克小屋过冬时，画了一系列关于双子湖上那座古老木桥的写生作品。作为一名艺术家，很多时候，在不将人类纳入绘画的情况下，暗示我们与自然的关系是一件很有趣的事情。在这幅作品中，桥梁足以暗示我们的存在，承认美丽强大的存在。
5 00
Andrej Karpathy 谈 AI 与教育：
Andrej Karpathy: 我一直以来都热爱教育，喜欢学习和教学。这一直是我非常热情的领域。而另一个推动我的原因是，我觉得现在 AI 的很多应用都是在取代人类工作，但我更感兴趣的是那些能赋能人类的 AI。我不希望看到一个人类被边缘化的未来，而是希望看到一个人类变得更加优秀的未来。如果每个人都有一个完美的导师来学习各个科目，人类可以走得很远。我们看到有钱人雇佣私人教师，确实能取得很好的结果。通过 AI，我们可以实现类似的效果，甚至是超越。
Elad Gil:是的，1980 年代有一个经典的研究显示，一对一辅导可以使学生的成绩提高一个标准差。你觉得 AI 如何能够实现这样的效果？哪些产品会首先帮助实现这一点？
Andrej Karpathy:我受到一些灵感的启发。当前，我正在尝试构建一门 AI 课程，我想让它成为每个人学习AI时首先想到的课程。我曾经在斯坦福教授 AI 课程，但问题是，如何让课程规模化，能够覆盖全球80亿人，并适应不同语言、不同水平的学生？单靠一个教师是无法做到这一点的，所以我在考虑如何用 AI 来扩展这种教师的能力。我的想法是，教师负责课程的创建和设计，而AI则成为前端，与学生进行互动，帮助他们学习。教师不再直接接触学生，而是在幕后设计材料，AI则负责讲解。
Sara Guo:我是否可以把这看作是“AI 助教”？
Andrej Karpathy:可以这么理解。AI 是学生的前端接口，引导他们完成课程。这是目前可以实现的，虽然还没有完全存在，但我相信这是可行的。随着 AI 能力的提升，未来可能会对课程结构进行重构。我专注于找到那些今天AI能力可以胜任的任务，这种思路让我能够设计出更加实际的产品。
Sara Guo:你提到的一点让我感到非常鼓舞，特别是来自你对研究现状的深刻理解。我们不知道在人类具备更好工具的情况下，学习能力的极限在哪里。就像我们在最近的奥运会上看到的，运动员的成绩比十年前大大提高，因为他们从小就开始训练，使用了更科学的训练方法和设备。你相信人类的学习能力在未来可以通过更完善的工具和课程得到大幅提升，这一点真的非常振奋人心。
Andrej Karpathy:是的，我觉得我们连可能性的表面都还没触及。这里有两个维度：一个是全球化的维度，我希望每个人都能获得优质教育。另一个是个体层面的，探索单个个体能走多远。我觉得这两点都非常有趣和激动人心。
Elad Gil:通常人们在讨论一对一学习时，谈论的是个性化学习，即根据学生的水平挑战他们。你觉得AI可以做到这一点吗？还是目前AI的重点在于覆盖范围和多语言支持？
Andrej Karpathy:目前 AI 在翻译和多语言支持方面已经非常出色，这些是现成的成果。至于个性化适应学生背景的能力，这仍然是一个需要解决的问题，但并不太遥远。如果学生有物理学背景，AI 可以根据这个信息进行调适，这在教育中是非常有用的。我想这将是我们要努力实现的方向，虽然目前还不完全具备这种能力。
Elad Gil:是的，个性化学习的难点在于，不同学生在不同领域的学习速度不同，如何根据学生的情况调整教学内容是一大挑战。不过，我相信随着时间推移，AI模型会越来越擅长这一点。
Andrej Karpathy:是的，AI 的很多能力现在可以通过简单的提示实现，但从演示到实际产品之间还有一定距离。我会说，演示已经很接近了，但产品化还需要一些时间。
Elad Gil:在科研界，人们常常讨论不同实验室的背景，很多诺贝尔奖得主曾在其他诺奖得主的实验室工作。你觉得在以 AI 为中心的教育世界里，如何保持这种知识传承和文化传播？
Andrej Karpathy:我不希望生活在一个“背景”太重要的世界里。我希望AI能够打破这种结构，因为它有点像是对稀缺资源的把控，比如拥有某种背景的人的数量有限。我希望AI能够改变这一点。我觉得在考虑未来的教育系统时，它可能不仅仅是一个单一模型，而是多个模型并行合作的系统。类似于公司的结构，不同的模型会有不同的角色和职责，它们在并行处理复杂任务时会互相协调，就像一个“集群”系统一样。我想我们会看到越来越多的模型专注于不同的任务领域，比如程序员、程序管理者等，它们会像一个公司一样相互协作。
Elad Gil:这有点像一个生物生态系统，不同的角色和生态位互相协作。
Sara Guo:是的，取决于问题的难度和专业领域，任务可以自动升级到“集群”的其他部分。
Andrej Karpathy:是的，可能某些模型是高性能的云端模型，其他模型可能是资源更廉价的模型，它们各自承担不同的任务。
Elad Gil:你提到教育作为娱乐的理念非常有趣，尤其是你谈到未来人类可以通过更好的工具大幅提升学习能力。你觉得 AI 能在多大程度上帮助人们实现这些目标？
Andrej Karpathy:AI 能极大地改善学习体验，尤其是在全球范围内提供优质教育。今天的很多学习动机来自于经济需要，比如找工作或提升自己的经济地位。在未来的后 AGI 社会中，教育可能会变得更多是出于娱乐和自我提升的目的。我希望人们不仅仅是在追求实用性，而是从教育中获得满足感，像是去健身房锻炼大脑一样。
Sara Guo:你提到教育是一种类似于健身房锻炼的体验。教育本身确实需要付出努力，但这种努力也是一种满足感的来源。
Andrej Karpathy:是的，教育的确需要付出努力，但这种努力也是一种特别的“乐趣”。人们从中获得成就感，感觉自己变得更好。我希望在未来的世界中，人们不仅在身体上去健身房，也会在心理和智力上“锻炼”，让教育成为一种崇尚的追求。
Sara Guo:那么你正在开发的这门课程的目标受众是谁？
Andrej Karpathy:我设想的受众主要是大学本科水平的学生，特别是那些在技术领域学习的人。尽管如此，随着社会的快速变化，教育将不再局限于传统的学制内。未来人们会更多地回到“学校”或学习新的技能。所以这门课程虽然针对本科生，但实际上任何有技术背景的人，不论年龄，都可以从中受益。课程的发布时间原计划是今年年底，但现在可能要推迟到明年初，因为我有很多其他项目需要处理。
Elad Gil:假如你今天有小孩子，你会建议他们学习什么，以便在未来拥有更有价值的技能？
Andrej Karpathy:在我看来，正确的答案是数学、物理、计算机科学这些学科。我之所以这么说，是因为这些学科能帮助培养思维能力。我个人的背景可能有些偏颇，但这些学科是最好的思维训练核心。比如我自己学习数学和物理课程，它们塑造了我的思维方式，非常有助于解决问题。如果我们还处于 AGI 之前的世界，这些技能非常有用；即使是在 AGI 之后的世界，你仍然希望人类能够在各种能力下保持自主和强大。所以这就是人们应该学习的正确内容，既实用又有价值。特别是在关键的成长时期，人们有很多时间和注意力，这时候应该更多地花在那些需要简单操作和思考的任务上，而不是记忆为主的任务。
Elad Gil:我学过数学，感觉自己脑子里开辟了一个全新的领域，有点太多了。
Sara Guo:是的，而且在之后的生活中很难再去开辟新的思维路径。
Elad Gil:当然，我并不反对其他学科。广泛的知识涉猎非常美妙，但我确实认为80%的时间应该用来学习这些核心学科。
Sara Guo:我们不是很擅长记忆，与我们的工具相比更是如此。
Andrej Karpathy: 我一直以来都热爱教育，喜欢学习和教学。这一直是我非常热情的领域。而另一个推动我的原因是，我觉得现在 AI 的很多应用都是在取代人类工作，但我更感兴趣的是那些能赋能人类的 AI。我不希望看到一个人类被边缘化的未来，而是希望看到一个人类变得更加优秀的未来。如果每个人都有一个完美的导师来学习各个科目，人类可以走得很远。我们看到有钱人雇佣私人教师，确实能取得很好的结果。通过 AI，我们可以实现类似的效果，甚至是超越。
Elad Gil:是的，1980 年代有一个经典的研究显示，一对一辅导可以使学生的成绩提高一个标准差。你觉得 AI 如何能够实现这样的效果？哪些产品会首先帮助实现这一点？
Andrej Karpathy:我受到一些灵感的启发。当前，我正在尝试构建一门 AI 课程，我想让它成为每个人学习AI时首先想到的课程。我曾经在斯坦福教授 AI 课程，但问题是，如何让课程规模化，能够覆盖全球80亿人，并适应不同语言、不同水平的学生？单靠一个教师是无法做到这一点的，所以我在考虑如何用 AI 来扩展这种教师的能力。我的想法是，教师负责课程的创建和设计，而AI则成为前端，与学生进行互动，帮助他们学习。教师不再直接接触学生，而是在幕后设计材料，AI则负责讲解。
Sara Guo:我是否可以把这看作是“AI 助教”？
Andrej Karpathy:可以这么理解。AI 是学生的前端接口，引导他们完成课程。这是目前可以实现的，虽然还没有完全存在，但我相信这是可行的。随着 AI 能力的提升，未来可能会对课程结构进行重构。我专注于找到那些今天AI能力可以胜任的任务，这种思路让我能够设计出更加实际的产品。
Sara Guo:你提到的一点让我感到非常鼓舞，特别是来自你对研究现状的深刻理解。我们不知道在人类具备更好工具的情况下，学习能力的极限在哪里。就像我们在最近的奥运会上看到的，运动员的成绩比十年前大大提高，因为他们从小就开始训练，使用了更科学的训练方法和设备。你相信人类的学习能力在未来可以通过更完善的工具和课程得到大幅提升，这一点真的非常振奋人心。
Andrej Karpathy:是的，我觉得我们连可能性的表面都还没触及。这里有两个维度：一个是全球化的维度，我希望每个人都能获得优质教育。另一个是个体层面的，探索单个个体能走多远。我觉得这两点都非常有趣和激动人心。
Elad Gil:通常人们在讨论一对一学习时，谈论的是个性化学习，即根据学生的水平挑战他们。你觉得AI可以做到这一点吗？还是目前AI的重点在于覆盖范围和多语言支持？
Andrej Karpathy:目前 AI 在翻译和多语言支持方面已经非常出色，这些是现成的成果。至于个性化适应学生背景的能力，这仍然是一个需要解决的问题，但并不太遥远。如果学生有物理学背景，AI 可以根据这个信息进行调适，这在教育中是非常有用的。我想这将是我们要努力实现的方向，虽然目前还不完全具备这种能力。
Elad Gil:是的，个性化学习的难点在于，不同学生在不同领域的学习速度不同，如何根据学生的情况调整教学内容是一大挑战。不过，我相信随着时间推移，AI模型会越来越擅长这一点。
Andrej Karpathy:是的，AI 的很多能力现在可以通过简单的提示实现，但从演示到实际产品之间还有一定距离。我会说，演示已经很接近了，但产品化还需要一些时间。
Elad Gil:在科研界，人们常常讨论不同实验室的背景，很多诺贝尔奖得主曾在其他诺奖得主的实验室工作。你觉得在以 AI 为中心的教育世界里，如何保持这种知识传承和文化传播？
Andrej Karpathy:我不希望生活在一个“背景”太重要的世界里。我希望AI能够打破这种结构，因为它有点像是对稀缺资源的把控，比如拥有某种背景的人的数量有限。我希望AI能够改变这一点。我觉得在考虑未来的教育系统时，它可能不仅仅是一个单一模型，而是多个模型并行合作的系统。类似于公司的结构，不同的模型会有不同的角色和职责，它们在并行处理复杂任务时会互相协调，就像一个“集群”系统一样。我想我们会看到越来越多的模型专注于不同的任务领域，比如程序员、程序管理者等，它们会像一个公司一样相互协作。
Elad Gil:这有点像一个生物生态系统，不同的角色和生态位互相协作。
Sara Guo:是的，取决于问题的难度和专业领域，任务可以自动升级到“集群”的其他部分。
Andrej Karpathy:是的，可能某些模型是高性能的云端模型，其他模型可能是资源更廉价的模型，它们各自承担不同的任务。
Elad Gil:你提到教育作为娱乐的理念非常有趣，尤其是你谈到未来人类可以通过更好的工具大幅提升学习能力。你觉得 AI 能在多大程度上帮助人们实现这些目标？
Andrej Karpathy:AI 能极大地改善学习体验，尤其是在全球范围内提供优质教育。今天的很多学习动机来自于经济需要，比如找工作或提升自己的经济地位。在未来的后 AGI 社会中，教育可能会变得更多是出于娱乐和自我提升的目的。我希望人们不仅仅是在追求实用性，而是从教育中获得满足感，像是去健身房锻炼大脑一样。
Sara Guo:你提到教育是一种类似于健身房锻炼的体验。教育本身确实需要付出努力，但这种努力也是一种满足感的来源。
Andrej Karpathy:是的，教育的确需要付出努力，但这种努力也是一种特别的“乐趣”。人们从中获得成就感，感觉自己变得更好。我希望在未来的世界中，人们不仅在身体上去健身房，也会在心理和智力上“锻炼”，让教育成为一种崇尚的追求。
Sara Guo:那么你正在开发的这门课程的目标受众是谁？
Andrej Karpathy:我设想的受众主要是大学本科水平的学生，特别是那些在技术领域学习的人。尽管如此，随着社会的快速变化，教育将不再局限于传统的学制内。未来人们会更多地回到“学校”或学习新的技能。所以这门课程虽然针对本科生，但实际上任何有技术背景的人，不论年龄，都可以从中受益。课程的发布时间原计划是今年年底，但现在可能要推迟到明年初，因为我有很多其他项目需要处理。
Elad Gil:假如你今天有小孩子，你会建议他们学习什么，以便在未来拥有更有价值的技能？
Andrej Karpathy:在我看来，正确的答案是数学、物理、计算机科学这些学科。我之所以这么说，是因为这些学科能帮助培养思维能力。我个人的背景可能有些偏颇，但这些学科是最好的思维训练核心。比如我自己学习数学和物理课程，它们塑造了我的思维方式，非常有助于解决问题。如果我们还处于 AGI 之前的世界，这些技能非常有用；即使是在 AGI 之后的世界，你仍然希望人类能够在各种能力下保持自主和强大。所以这就是人们应该学习的正确内容，既实用又有价值。特别是在关键的成长时期，人们有很多时间和注意力，这时候应该更多地花在那些需要简单操作和思考的任务上，而不是记忆为主的任务。
Elad Gil:我学过数学，感觉自己脑子里开辟了一个全新的领域，有点太多了。
Sara Guo:是的，而且在之后的生活中很难再去开辟新的思维路径。
Elad Gil:当然，我并不反对其他学科。广泛的知识涉猎非常美妙，但我确实认为80%的时间应该用来学习这些核心学科。
Sara Guo:我们不是很擅长记忆，与我们的工具相比更是如此。
1 00
Andrej Karpathy 谈大模型：
Sara Guo:你觉得当前的“大模型”研究状态如何？
Andrej Karpathy:关于“大模型”研究的现状，我们处于一个非常好的阶段。我不确定是否已经有人完全认识到，Transformer 比其他神经网络要强大得多。它不仅仅是另一个神经网络，而是一个非常通用的、非常强大的神经网络。例如，当人们谈论神经网络中的扩展规律时，这种规律在很大程度上是 Transformer 的特性。之前，使用 LSTM 堆叠等模型时，你并不能获得良好的扩展规律，这些模型训练效果不好，也无法很好地工作。而 Transformer 是第一个真正能够随数据扩展的模型，你能获得清晰的扩展规律，一切都很合理。所以我把它看作是一台“差分计算机”，你可以给它输入和输出，然后通过反向传播训练它，它会自行排列形成能够执行任务的系统。我们在算法领域发现了一个非常神奇的东西。其背后有几个关键的创新，比如残差连接、层归一化、注意力模块，以及没有使用一些会导致梯度消失的激活函数（如双曲正切等）。这些创新共同组成了 Transformer，而谷歌的那篇论文展示了它如何真正开始工作。它的出现解锁了很多可能性。
Sara Guo:你觉得这种解锁的极限还远未到吗？毕竟现在也有人讨论数据壁垒和下一代规模的成本问题。你怎么看待这些问题？
Andrej Karpathy:现在神经网络的架构不再是根本性的瓶颈了，Transformer 之前的确是瓶颈，但现在已经不是了。如今的瓶颈在于损失函数和数据集，尤其是数据集。所以现在大多数活动都集中在如何改进数据集和损失函数上。这也是为什么很多公司在应用这些技术时并不关注 Transformer 的架构。Transformer 在过去五年几乎没有什么变化。最重要的变化可能是我们加入了“rope positional”这种位置编码，但除此之外，架构基本没变。因此，大部分的创新都集中在数据集和损失函数上。
Sara Guo:但有人认为，当时我们获取的是互联网上的数据，而现在这些数据已经枯竭了。你怎么看这个问题？
Andrej Karpathy:是的，互联网上的数据确实快用完了，现在很多研究都集中在生成合成数据或更昂贵的数据收集上。实际上，互联网上的数据虽然能帮你走得很远，但并不是 Transformer 最理想的数据。互联网上的数据大多是网页，而我们真正想要的是你大脑中解决问题的内在思维轨迹。
Sara Guo:对，确实是这样，大脑中的思维轨迹。
Andrej Karpathy:如果我们有十亿个这种思维轨迹的数据， AGI 可能就离我们不远了。但现实是我们没有这些数据。所以现在的很多研究都集中在将数据集重新组织成这种内在思维轨迹的格式上。同时，还有大量的合成数据生成工作在帮助我们向这个方向迈进。更有趣的是，现有的模型也在帮助我们构建下一代模型。
Elad Gil:就像一段逐步上升的台阶。你觉得合成数据能帮助我们走多远？毕竟，每个模型都会帮助你更好地训练下一个模型，尤其是在数据标注方面，部分可能会依赖合成数据。你觉得合成数据有多重要？
Andrej Karpathy:合成数据是我们唯一的前进途径，我们必须让它发挥作用。不过在使用合成数据时需要非常小心，因为这些模型会默默地“坍缩”。比如，当你去问 ChatGPT 讲个笑话时，它可能只会讲几个重复的笑话。这是因为模型的分布坍缩了，而这一点是很难察觉的。当你看单个输出时，你可能没注意到这个问题，但从整体分布来看，模型丧失了多样性和丰富性。因此，在生成合成数据时，你需要确保保持数据集的熵，也就是多样性和丰富性。我们有很多技术可以实现这一点。比如，有人发布了一个“persona dataset”，它包含了十亿个人物的背景信息，模拟了各种人类的个性和背景。这个数据集包括“我是老师”或“我是艺术家，我住在某地，我做什么”等背景描述。合成数据生成不仅仅是“完成这个任务并以这种方式进行”，你还可以加入个性化的描述信息，这样可以强迫模型探索更多的空间，保持数据集的熵。所以，在这方面需要非常小心，确保数据集的多样性被保留，这也是当前最大的挑战之一。
Sara Guo:也许我们正在探索推理轨迹的形态，这其实对理解大脑的工作方式也很有帮助。
Andrej Karpathy:我觉得使用类比时需要小心，因为它们其实是非常不同的事物。不过我确实认为有些类比是可以借鉴的。比如说，在某些方面，Transformer 实际上比人类大脑更出色。Transformer 是一个效率更高的系统。之所以它目前还没有达到人脑的水平，主要是因为数据问题，这是的第一个近似原因。比如在记忆序列方面，Transformer 远胜于人类。如果你给它一个序列，并进行一次前向和后向传播，那么当你给它提供这个序列的前几个元素时，它会自动完成剩下的部分。而人类如果只看一次序列，几乎不可能记住它。所以 Transformer 的梯度优化过程（前向和后向更新）在某些方面比大脑的学习机制更加高效。这些模型的确更好，只是它们还没有完全展现出它们的潜力。但在很多认知方面，它们会逐渐显现出优势。
Sara Guo:在正确的输入下，它们会变得更好。
Andrej Karpathy:这确实是计算机在各种应用中的趋势。
Elad Gil:对，我觉得人类的记忆能力也有局限。
Andrej Karpathy:没错。人类大脑的工作记忆非常有限，而 Transformer 拥有更大的工作记忆容量，而且这种优势会持续下去。Transformer 是更高效的学习者，而人类大脑则受到各种约束的限制，比如环境条件等。所以这些 AI 系统有可能在未来超越人类大脑，只是目前还未实现。
Elad Gil:你怎么看待未来人类与 AI 系统的结合？你觉得这是一个可能的方向吗？比如通过AI模型增强人类的能力。
Andrej Karpathy:当然，这是一个非常有可能的方向。实际上，使用 AI 工具的外部版本已经是一种抽象的增强方式。然后还有“融合”的场景，很多人都在讨论这一点。
Elad Gil:是的，很多人讨论这种“融合”，但目前我们主要是通过指尖与工具进行交互。
Andrej Karpathy:是的，这是一种瓶颈。人们已经讨论了几十年技术工具如何扩展人类能力，比如说计算机被称为人类大脑的自行车。我们已经看到技术作为工具的外延，但一些AI研究者认为，未来我们可能会通过某种形式的“神经链接”来解决潜在的人机冲突，或者通过这种融合进一步增强人类能力。我不确定这种“融合”最终会是什么样子，但我能想象减少人与工具之间的输入输出瓶颈是一个重要方向。我把它看作是一个“外部大脑皮层”（exo-cortex），就像在我们的大脑皮层上添加了一层新功能，只不过这层新功能在云端，但它确实是大脑的下一个层次。
Sara Guo:是的，如果我们谈论外部大脑皮层（exo-cortex），这似乎是一个非常重要的概念，如何将其民主化，人人都能使用。你怎么看待目前AI研究领域的市场结构？比如现在只有少数大型实验室有能力推进下一代训练，这会如何影响未来的技术普及？
Andrej Karpathy:你刚才提到的可能是关于生态系统的现状。现在我们有几家主导性的封闭平台，以及一些相对落后的开源平台，比如 Meta 的 Llama。这种情况其实有点类似于开源生态系统的格局。当我们开始把这些东西看作“外部大脑皮层”（exo-cortex）时，这就像加密货币中的一句话：“没有你的密钥，就没有你的币”。那么，是否可以说，如果不是你拥有的权重，那也不是你的大脑？这很有趣，因为公司实际上在控制你的一部分“外部大脑皮层”。
Sara Guo:如果有一个思想实验，你愿意放弃所有权并租用一个更好的大脑吗？我想我会愿意。
Andrej Karpathy:是的，这是我们需要权衡的东西。也许我们会默认使用那些封闭版本，因为它们的效果非常好，但在某些情况下，我们可以依赖一些备用方案。我觉得这就是现在的发展方向。比如，当一些封闭源提供商的API出现问题时，人们会实现备用方案，转向自己完全控制的开源生态系统。这让他们感觉更加自主。
Elad Gil:我一直在想，最小的高效模型可以做到什么程度？无论是在参数大小上还是其他方面，你对此怎么看？你对小型模型的蒸馏有很多思考。
Andrej Karpathy:模型可以非常小。现在的模型浪费了大量容量，记住了一些无关紧要的东西，比如它们记住了散列值和过时的信息。
Sara Guo:是因为数据集没有经过筛选，最好的部分没有被突出。
Andrej Karpathy:这种情况会改变。我们只需要找到认知核心，这个核心可以非常小。它只需要处理最重要的事情，其他信息如果需要可以通过工具获取。
Sara Guo:那这个认知核心需要 30 亿参数还是 200 亿参数？
Andrej Karpathy:甚至 10 亿参数可能就足够了，模型可以非常小。我之所以这么说，主要是因为蒸馏过程非常有效。你可以用一个非常大的模型，通过大量计算，去教一个小模型，而这个小模型可以保留大模型的能力。
Elad Gil:你能把这种蒸馏过程量化为某种数学表达式吗？有没有一种信息理论的方式去表示这个过程？感觉我们应该可以通过某种方式来计算出需要的模型大小。
Andrej Karpathy:我们现在处理的是互联网数据，互联网数据的有用信息可能只占很小一部分，大部分都是噪音。关键是提取出有用的“认知”部分。
Sara Guo:想到这一点还是很令人兴奋的，尤其是考虑到这种小模型可以部署在边缘设备上，而不是依赖云计算。
Elad Gil:是的，这确实对模型的使用方式带来了很大的改变，这很激动人心。
Sara Guo:少于 10 亿参数，意味着我可以在本地设备上拥有我的“外部大脑皮层”。
Andrej Karpathy:是的，我觉得未来可能不是单一的模型，而是多模型并行合作的系统。并行处理在未来会变得越来越重要，而不只是依赖顺序处理。像公司一样，信息处理也是分层级的，某些信息需要不同层次的处理，这也是公司内部的一种并行化工作方式。未来的模型会像公司一样分布在不同的层级和领域，比如某个模型是程序员，另一个是程序管理者。多个模型可以并行工作，协同完成计算任务。
Elad Gil:这听起来更像是一个生物生态系统，不同的角色和生态位相互合作。
Sara Guo:根据问题的难度和不同的专业领域，你可以自动地将任务升级到“集群”的其他部分。
Andrej Karpathy:是的，可能某些模型是高性能的云端模型，而其他模型可能是更廉价的资源模型。
Sara Guo:而且每个人的成本函数可能是不同的。
Sara Guo:你觉得当前的“大模型”研究状态如何？
Andrej Karpathy:关于“大模型”研究的现状，我们处于一个非常好的阶段。我不确定是否已经有人完全认识到，Transformer 比其他神经网络要强大得多。它不仅仅是另一个神经网络，而是一个非常通用的、非常强大的神经网络。例如，当人们谈论神经网络中的扩展规律时，这种规律在很大程度上是 Transformer 的特性。之前，使用 LSTM 堆叠等模型时，你并不能获得良好的扩展规律，这些模型训练效果不好，也无法很好地工作。而 Transformer 是第一个真正能够随数据扩展的模型，你能获得清晰的扩展规律，一切都很合理。所以我把它看作是一台“差分计算机”，你可以给它输入和输出，然后通过反向传播训练它，它会自行排列形成能够执行任务的系统。我们在算法领域发现了一个非常神奇的东西。其背后有几个关键的创新，比如残差连接、层归一化、注意力模块，以及没有使用一些会导致梯度消失的激活函数（如双曲正切等）。这些创新共同组成了 Transformer，而谷歌的那篇论文展示了它如何真正开始工作。它的出现解锁了很多可能性。
Sara Guo:你觉得这种解锁的极限还远未到吗？毕竟现在也有人讨论数据壁垒和下一代规模的成本问题。你怎么看待这些问题？
Andrej Karpathy:现在神经网络的架构不再是根本性的瓶颈了，Transformer 之前的确是瓶颈，但现在已经不是了。如今的瓶颈在于损失函数和数据集，尤其是数据集。所以现在大多数活动都集中在如何改进数据集和损失函数上。这也是为什么很多公司在应用这些技术时并不关注 Transformer 的架构。Transformer 在过去五年几乎没有什么变化。最重要的变化可能是我们加入了“rope positional”这种位置编码，但除此之外，架构基本没变。因此，大部分的创新都集中在数据集和损失函数上。
Sara Guo:但有人认为，当时我们获取的是互联网上的数据，而现在这些数据已经枯竭了。你怎么看这个问题？
Andrej Karpathy:是的，互联网上的数据确实快用完了，现在很多研究都集中在生成合成数据或更昂贵的数据收集上。实际上，互联网上的数据虽然能帮你走得很远，但并不是 Transformer 最理想的数据。互联网上的数据大多是网页，而我们真正想要的是你大脑中解决问题的内在思维轨迹。
Sara Guo:对，确实是这样，大脑中的思维轨迹。
Andrej Karpathy:如果我们有十亿个这种思维轨迹的数据， AGI 可能就离我们不远了。但现实是我们没有这些数据。所以现在的很多研究都集中在将数据集重新组织成这种内在思维轨迹的格式上。同时，还有大量的合成数据生成工作在帮助我们向这个方向迈进。更有趣的是，现有的模型也在帮助我们构建下一代模型。
Elad Gil:就像一段逐步上升的台阶。你觉得合成数据能帮助我们走多远？毕竟，每个模型都会帮助你更好地训练下一个模型，尤其是在数据标注方面，部分可能会依赖合成数据。你觉得合成数据有多重要？
Andrej Karpathy:合成数据是我们唯一的前进途径，我们必须让它发挥作用。不过在使用合成数据时需要非常小心，因为这些模型会默默地“坍缩”。比如，当你去问 ChatGPT 讲个笑话时，它可能只会讲几个重复的笑话。这是因为模型的分布坍缩了，而这一点是很难察觉的。当你看单个输出时，你可能没注意到这个问题，但从整体分布来看，模型丧失了多样性和丰富性。因此，在生成合成数据时，你需要确保保持数据集的熵，也就是多样性和丰富性。我们有很多技术可以实现这一点。比如，有人发布了一个“persona dataset”，它包含了十亿个人物的背景信息，模拟了各种人类的个性和背景。这个数据集包括“我是老师”或“我是艺术家，我住在某地，我做什么”等背景描述。合成数据生成不仅仅是“完成这个任务并以这种方式进行”，你还可以加入个性化的描述信息，这样可以强迫模型探索更多的空间，保持数据集的熵。所以，在这方面需要非常小心，确保数据集的多样性被保留，这也是当前最大的挑战之一。
Sara Guo:也许我们正在探索推理轨迹的形态，这其实对理解大脑的工作方式也很有帮助。
Andrej Karpathy:我觉得使用类比时需要小心，因为它们其实是非常不同的事物。不过我确实认为有些类比是可以借鉴的。比如说，在某些方面，Transformer 实际上比人类大脑更出色。Transformer 是一个效率更高的系统。之所以它目前还没有达到人脑的水平，主要是因为数据问题，这是的第一个近似原因。比如在记忆序列方面，Transformer 远胜于人类。如果你给它一个序列，并进行一次前向和后向传播，那么当你给它提供这个序列的前几个元素时，它会自动完成剩下的部分。而人类如果只看一次序列，几乎不可能记住它。所以 Transformer 的梯度优化过程（前向和后向更新）在某些方面比大脑的学习机制更加高效。这些模型的确更好，只是它们还没有完全展现出它们的潜力。但在很多认知方面，它们会逐渐显现出优势。
Sara Guo:在正确的输入下，它们会变得更好。
Andrej Karpathy:这确实是计算机在各种应用中的趋势。
Elad Gil:对，我觉得人类的记忆能力也有局限。
Andrej Karpathy:没错。人类大脑的工作记忆非常有限，而 Transformer 拥有更大的工作记忆容量，而且这种优势会持续下去。Transformer 是更高效的学习者，而人类大脑则受到各种约束的限制，比如环境条件等。所以这些 AI 系统有可能在未来超越人类大脑，只是目前还未实现。
Elad Gil:你怎么看待未来人类与 AI 系统的结合？你觉得这是一个可能的方向吗？比如通过AI模型增强人类的能力。
Andrej Karpathy:当然，这是一个非常有可能的方向。实际上，使用 AI 工具的外部版本已经是一种抽象的增强方式。然后还有“融合”的场景，很多人都在讨论这一点。
Elad Gil:是的，很多人讨论这种“融合”，但目前我们主要是通过指尖与工具进行交互。
Andrej Karpathy:是的，这是一种瓶颈。人们已经讨论了几十年技术工具如何扩展人类能力，比如说计算机被称为人类大脑的自行车。我们已经看到技术作为工具的外延，但一些AI研究者认为，未来我们可能会通过某种形式的“神经链接”来解决潜在的人机冲突，或者通过这种融合进一步增强人类能力。我不确定这种“融合”最终会是什么样子，但我能想象减少人与工具之间的输入输出瓶颈是一个重要方向。我把它看作是一个“外部大脑皮层”（exo-cortex），就像在我们的大脑皮层上添加了一层新功能，只不过这层新功能在云端，但它确实是大脑的下一个层次。
Sara Guo:是的，如果我们谈论外部大脑皮层（exo-cortex），这似乎是一个非常重要的概念，如何将其民主化，人人都能使用。你怎么看待目前AI研究领域的市场结构？比如现在只有少数大型实验室有能力推进下一代训练，这会如何影响未来的技术普及？
Andrej Karpathy:你刚才提到的可能是关于生态系统的现状。现在我们有几家主导性的封闭平台，以及一些相对落后的开源平台，比如 Meta 的 Llama。这种情况其实有点类似于开源生态系统的格局。当我们开始把这些东西看作“外部大脑皮层”（exo-cortex）时，这就像加密货币中的一句话：“没有你的密钥，就没有你的币”。那么，是否可以说，如果不是你拥有的权重，那也不是你的大脑？这很有趣，因为公司实际上在控制你的一部分“外部大脑皮层”。
Sara Guo:如果有一个思想实验，你愿意放弃所有权并租用一个更好的大脑吗？我想我会愿意。
Andrej Karpathy:是的，这是我们需要权衡的东西。也许我们会默认使用那些封闭版本，因为它们的效果非常好，但在某些情况下，我们可以依赖一些备用方案。我觉得这就是现在的发展方向。比如，当一些封闭源提供商的API出现问题时，人们会实现备用方案，转向自己完全控制的开源生态系统。这让他们感觉更加自主。
Elad Gil:我一直在想，最小的高效模型可以做到什么程度？无论是在参数大小上还是其他方面，你对此怎么看？你对小型模型的蒸馏有很多思考。
Andrej Karpathy:模型可以非常小。现在的模型浪费了大量容量，记住了一些无关紧要的东西，比如它们记住了散列值和过时的信息。
Sara Guo:是因为数据集没有经过筛选，最好的部分没有被突出。
Andrej Karpathy:这种情况会改变。我们只需要找到认知核心，这个核心可以非常小。它只需要处理最重要的事情，其他信息如果需要可以通过工具获取。
Sara Guo:那这个认知核心需要 30 亿参数还是 200 亿参数？
Andrej Karpathy:甚至 10 亿参数可能就足够了，模型可以非常小。我之所以这么说，主要是因为蒸馏过程非常有效。你可以用一个非常大的模型，通过大量计算，去教一个小模型，而这个小模型可以保留大模型的能力。
Elad Gil:你能把这种蒸馏过程量化为某种数学表达式吗？有没有一种信息理论的方式去表示这个过程？感觉我们应该可以通过某种方式来计算出需要的模型大小。
Andrej Karpathy:我们现在处理的是互联网数据，互联网数据的有用信息可能只占很小一部分，大部分都是噪音。关键是提取出有用的“认知”部分。
Sara Guo:想到这一点还是很令人兴奋的，尤其是考虑到这种小模型可以部署在边缘设备上，而不是依赖云计算。
Elad Gil:是的，这确实对模型的使用方式带来了很大的改变，这很激动人心。
Sara Guo:少于 10 亿参数，意味着我可以在本地设备上拥有我的“外部大脑皮层”。
Andrej Karpathy:是的，我觉得未来可能不是单一的模型，而是多模型并行合作的系统。并行处理在未来会变得越来越重要，而不只是依赖顺序处理。像公司一样，信息处理也是分层级的，某些信息需要不同层次的处理，这也是公司内部的一种并行化工作方式。未来的模型会像公司一样分布在不同的层级和领域，比如某个模型是程序员，另一个是程序管理者。多个模型可以并行工作，协同完成计算任务。
Elad Gil:这听起来更像是一个生物生态系统，不同的角色和生态位相互合作。
Sara Guo:根据问题的难度和不同的专业领域，你可以自动地将任务升级到“集群”的其他部分。
Andrej Karpathy:是的，可能某些模型是高性能的云端模型，而其他模型可能是更廉价的资源模型。
Sara Guo:而且每个人的成本函数可能是不同的。
2 01
从科学角度来看，直觉可以理解为快速、无意识的信息处理，依赖于大脑对过去经验的自动化提取和使用。这一过程被称为启发式认知（heuristic cognition），即通过简化规则或心智捷径来快速做出判断。直觉并不是一种神秘的力量，而是一种在演化过程中发展起来的认知机制，能够帮助个体在复杂或时间有限的环境中快速反应。
神经科学揭示，直觉的基础是大脑中的模式识别机制。大脑通过感官接收信息并在海马体和皮层中储存记忆，随后在类似的情境下迅速匹配过去的经验和当前情境。这种快速匹配可以在无意识中进行，从而产生直觉反应。
研究还表明，前额叶皮层在调控直觉和决策中扮演重要角色。该区域处理复杂的认知任务，并能够基于大脑中的经验库对当前情况做出自动化判断。这解释了为什么经过大量实践或在特定领域积累了经验的专家，往往能够“凭直觉”做出正确的判断。
进化生物学角度，直觉也被视为一种进化优势。人类在应对复杂和快速变化的环境时，往往没有时间进行深思熟虑的推理。因此，直觉提供了一种“快速反应系统”，使个体能够在危险或紧急情况下迅速做出决定。例如，看到危险动物，直觉让我们立刻避开，而不是浪费时间思考该如何处理。
进化心理学认为，直觉是人类在漫长进化过程中形成的一种适应性机制，它帮助我们快速应对环境中的威胁和机会，提高生存和繁衍的成功率。
虽然直觉在许多情况下是有用的，但它也可能导致错误的判断，尤其是在复杂或不熟悉的情境下。由于直觉依赖于经验和启发式，它可能会受到认知偏见的影响，如确认偏误（只关注符合自己预期的信息）或过度自信偏误（对直觉过度信任）。因此，理性思维和分析（即系统2）仍然在许多决策中扮演重要角色，尤其是当情境复杂且涉及重大后果时。
先验假设是直觉形成的基础。大脑通过以往的经验和先天的认知结构形成对世界的预设和理解，这些构建了直觉判断的背景。当我们面对新情境时，大脑会自动激活先验假设，用来快速评估当前的情况，从而产生直觉反应。例如，我们直觉地认为走夜路是危险的，可能是基于进化中的生存经验形成的先验假设。
贝叶斯模型与直觉： 从贝叶斯推理的角度看，直觉可以被理解为一种快速的贝叶斯推断。大脑基于过去的经历（先验知识）和当前的感官输入（新信息），以一种自动化、无意识的方式更新我们的信念和判断。尽管这种推断过程看似不经过逻辑分析，但它实际上是在快速整合信息，从而得出合理的结论，是无意识中进行的一种快速“概率更新”，基于新证据对先验假设进行修正。例如，我们在看到某人面部表情的瞬间，可能会直觉地判断对方的情绪状态，这依赖于大脑对社交情境的先验知识和当前观察的整合。
经历与记忆：大脑中的直觉往往依赖于过去的经历和记忆。经历是直觉积累的来源和发展的材料，而记忆是大脑用来储存和调用这些经历的方式。随着个体经历的增加，直觉判断能力会变得更加准确和高效。专家的直觉通常比新手更可靠，因为他们的经历为他们的先验假设和模式识别提供了更丰富的依据。大量经验可以通过长期记忆被无意识地提取出来，帮助我们在相似的情境下做出快速判断。例如，经验丰富的医生通过直觉可以迅速判断病情，因为他们过去的经历和记忆为当前的判断提供了丰富的信息基础。
神经科学的研究表明，大脑通过重复的经历和记忆形成了一些自动化的反应机制，这些机制使得我们在遇到熟悉的模式时可以快速反应。海马体和皮层中的记忆回路为这种快速反应提供了支持，基于大脑神经网络中的自动化反应，帮助我们“直觉地”识别出已经熟悉的情境。
另外一些研究指出，直觉可能与潜意识记忆有关。直觉反应可能是储存在大脑中的某些记忆片段被激活的结果，即使我们无法有意识地回忆起这些记忆。
直觉往往伴随着强烈的情绪体验，例如“直觉告诉我这是对的”或“我对这件事感到不安”。这暗示着情绪脑区（如杏仁核）可能参与了直觉的产生和加工。
虽然直觉是无意识的，但它与意识之间也有联系。意识可以用来反思和调整直觉，但直觉的形成过程大多在潜意识中进行。直觉可能是通过神经元在不同皮层区域的快速信号传导形成的，而这些信号传导涉及记忆和当前感知的整合。
抽象能力使直觉在复杂情境中更为有效。通过抽象能力，人类能够从具体经验中提取出普遍规则和概念，而这些规则和概念可能会在直觉的产生中发挥作用，提高直觉在复杂情境中的有效性。直觉可能是大脑在面对复杂问题时，通过快速整合和抽象各种信息产生的一种解决方案。
神经科学揭示，直觉的基础是大脑中的模式识别机制。大脑通过感官接收信息并在海马体和皮层中储存记忆，随后在类似的情境下迅速匹配过去的经验和当前情境。这种快速匹配可以在无意识中进行，从而产生直觉反应。
研究还表明，前额叶皮层在调控直觉和决策中扮演重要角色。该区域处理复杂的认知任务，并能够基于大脑中的经验库对当前情况做出自动化判断。这解释了为什么经过大量实践或在特定领域积累了经验的专家，往往能够“凭直觉”做出正确的判断。
进化生物学角度，直觉也被视为一种进化优势。人类在应对复杂和快速变化的环境时，往往没有时间进行深思熟虑的推理。因此，直觉提供了一种“快速反应系统”，使个体能够在危险或紧急情况下迅速做出决定。例如，看到危险动物，直觉让我们立刻避开，而不是浪费时间思考该如何处理。
进化心理学认为，直觉是人类在漫长进化过程中形成的一种适应性机制，它帮助我们快速应对环境中的威胁和机会，提高生存和繁衍的成功率。
虽然直觉在许多情况下是有用的，但它也可能导致错误的判断，尤其是在复杂或不熟悉的情境下。由于直觉依赖于经验和启发式，它可能会受到认知偏见的影响，如确认偏误（只关注符合自己预期的信息）或过度自信偏误（对直觉过度信任）。因此，理性思维和分析（即系统2）仍然在许多决策中扮演重要角色，尤其是当情境复杂且涉及重大后果时。
先验假设是直觉形成的基础。大脑通过以往的经验和先天的认知结构形成对世界的预设和理解，这些构建了直觉判断的背景。当我们面对新情境时，大脑会自动激活先验假设，用来快速评估当前的情况，从而产生直觉反应。例如，我们直觉地认为走夜路是危险的，可能是基于进化中的生存经验形成的先验假设。
贝叶斯模型与直觉： 从贝叶斯推理的角度看，直觉可以被理解为一种快速的贝叶斯推断。大脑基于过去的经历（先验知识）和当前的感官输入（新信息），以一种自动化、无意识的方式更新我们的信念和判断。尽管这种推断过程看似不经过逻辑分析，但它实际上是在快速整合信息，从而得出合理的结论，是无意识中进行的一种快速“概率更新”，基于新证据对先验假设进行修正。例如，我们在看到某人面部表情的瞬间，可能会直觉地判断对方的情绪状态，这依赖于大脑对社交情境的先验知识和当前观察的整合。
经历与记忆：大脑中的直觉往往依赖于过去的经历和记忆。经历是直觉积累的来源和发展的材料，而记忆是大脑用来储存和调用这些经历的方式。随着个体经历的增加，直觉判断能力会变得更加准确和高效。专家的直觉通常比新手更可靠，因为他们的经历为他们的先验假设和模式识别提供了更丰富的依据。大量经验可以通过长期记忆被无意识地提取出来，帮助我们在相似的情境下做出快速判断。例如，经验丰富的医生通过直觉可以迅速判断病情，因为他们过去的经历和记忆为当前的判断提供了丰富的信息基础。
神经科学的研究表明，大脑通过重复的经历和记忆形成了一些自动化的反应机制，这些机制使得我们在遇到熟悉的模式时可以快速反应。海马体和皮层中的记忆回路为这种快速反应提供了支持，基于大脑神经网络中的自动化反应，帮助我们“直觉地”识别出已经熟悉的情境。
另外一些研究指出，直觉可能与潜意识记忆有关。直觉反应可能是储存在大脑中的某些记忆片段被激活的结果，即使我们无法有意识地回忆起这些记忆。
直觉往往伴随着强烈的情绪体验，例如“直觉告诉我这是对的”或“我对这件事感到不安”。这暗示着情绪脑区（如杏仁核）可能参与了直觉的产生和加工。
虽然直觉是无意识的，但它与意识之间也有联系。意识可以用来反思和调整直觉，但直觉的形成过程大多在潜意识中进行。直觉可能是通过神经元在不同皮层区域的快速信号传导形成的，而这些信号传导涉及记忆和当前感知的整合。
抽象能力使直觉在复杂情境中更为有效。通过抽象能力，人类能够从具体经验中提取出普遍规则和概念，而这些规则和概念可能会在直觉的产生中发挥作用，提高直觉在复杂情境中的有效性。直觉可能是大脑在面对复杂问题时，通过快速整合和抽象各种信息产生的一种解决方案。
1 00
我们是否需要拥有一个非常准确的物理世界模型，然后对其进行模拟，以便让这些代理最终能够进入现实世界并执行一些接近人类水平的智能任务？
Ilya：我认为如果是这样的话，我们就有麻烦了。我非常确定这是可以避免的。具体来说，真正的答案必须是，你学会解决问题，你学会谈判，你学会坚持，你在模拟中学到很多不同的有用的人生教训。你也学了一些物理。
但随后你就脱离了现实世界，你必须在某种程度上重新开始，因为你的许多根深蒂固的假设将是错误的。这就是我如此关心永不停止训练的原因之一。你已经积累了知识，现在你进入了一个违反某些假设的环境，你继续训练，尝试将新数据连接到旧数据。这是我们算法的一个重要要求，在一定程度上已经满足了，但还需要更多地满足。这样你就可以利用你所获得的部分知识进入新的情况，多学一些。
例子是，你去学校，你学到有用的东西，然后你就去工作。它并不完美，对于你四年的计算机科学本科生来说，它不会让你为工作中需要了解的一切做好充分准备。这会有所帮助，你将能够开始工作，但你需要学习很多新东西。这就是它的精神。
2018-Ilya Sutskever: OpenAl Meta-Learning and Self-Play | MIT Artificial General Intelligence (AGI)
Ilya：我认为如果是这样的话，我们就有麻烦了。我非常确定这是可以避免的。具体来说，真正的答案必须是，你学会解决问题，你学会谈判，你学会坚持，你在模拟中学到很多不同的有用的人生教训。你也学了一些物理。
但随后你就脱离了现实世界，你必须在某种程度上重新开始，因为你的许多根深蒂固的假设将是错误的。这就是我如此关心永不停止训练的原因之一。你已经积累了知识，现在你进入了一个违反某些假设的环境，你继续训练，尝试将新数据连接到旧数据。这是我们算法的一个重要要求，在一定程度上已经满足了，但还需要更多地满足。这样你就可以利用你所获得的部分知识进入新的情况，多学一些。
例子是，你去学校，你学到有用的东西，然后你就去工作。它并不完美，对于你四年的计算机科学本科生来说，它不会让你为工作中需要了解的一切做好充分准备。这会有所帮助，你将能够开始工作，但你需要学习很多新东西。这就是它的精神。
2018-Ilya Sutskever: OpenAl Meta-Learning and Self-Play | MIT Artificial General Intelligence (AGI)
2 00
