scaling law是一种人类的幻觉,在一个尺度内存在的幻觉。今天大型语言模型的能力已经开始呈现一种线性化的提升,所以scaling law的幻觉逐渐破除了。当然这种幻觉还会持续一段时间,只是因为人类能释出的研究结果的过程不是连续平滑的。
倒是模型的训练和推理的基础设施上还有庞大的改进空间,所以去年我们内部分析语言模型的成本在未来的18个月还有1-2个数量级的下降机会,至少1个数量级,好的话是2个数量级。现在看这个判断在未来的18个月依旧有效。所以一定程度上,也许大家会看到未来的一段时间内,模型的成本呈现出一种scaling law的幻觉。