今天读了Dwarkesh Patel的最新博客《Why I don't think AGI is right around the corner》,文章深入浅出地剖析了当前AI能力的本质和AGI发展的时间线,颇有启发。几点思考:
1,大模型是时间上的"断片"个体
"持续学习"是目前大模型的致命软肋。大模型和人类走的是截然不同的两条成长路径,前者靠"啃说明书"长大,后者在实践摸爬滚打中成长。大模型在时间维度上是个"断片"的存在,海量数据训练完成后就再无升级可能,"脑子"彻底固化,无法在真实环境中感知和迭代,只能蜷缩在封闭的小世界里,机械地回答人类抛出的各种问题。出厂设置就是它的巅峰状态。
而人类恰恰相反,吃一堑长一智,在反馈中学习成长,挨过骂、受过打,下次就不敢再犯。大模型和人类那种深思熟虑、自我调整的学习过程完全是两码事,它犯过的错会周而复始地出现,直到下个版本修复为止。
2,大模型比人类短命得多
MiniMax M1主攻上下文长度是个正确方向。prompt就像说明书,光看说明书是学不会拧螺丝的。只有足够宽的上下文窗口才能让大模型持续接收环境反馈,在反馈中学习成长,进而窥探AGI的大门。context engine概念的爆火绝非偶然,这是AI前沿工作者在实践中淬炼出的高度概括。
context就像大模型的生命线,context为0时,它带着出厂设置诞生;context窗口达到1M token时,它的生命戛然而止。换算到人类的时间维度,它到底能活多久?读完一部《三体》的时间就差不多耗尽它的上下文窗口了。无法吸收更多外界信息时,它就"死了",只能重开聊天窗口获得新生。
3,当下大模型是好用的一次性工具人
受制于上下文窗口,大模型无法动态升级,更适合那些用完即弃的场景:翻译、写代码、摘要总结。而需要在空间上连贯操作的任务(典型如模拟人类使用电脑),表现可以说是一团糟。一是先验知识不足,没有文本数据那么丰富;二是要克服数据稀缺带来的训练困境,即便是事后看来很简单的算法创新,也需要漫长时间才能打磨成熟。
#提示词工程