即刻App年轻人的同好社区
下载
置顶Remembering that I'll be dead soon is the most
important tool I've ever encountered to help me make the big choices in life.
Because almost everything - all external expectations,all pride, all fear of embarrassment or failure - these things just fall away in the face of death, leaving only what is truly important.
Remembering that you are going to die is the best way know to avoid the trap of thinking you have something to lose. You are already naked.
There is no reason not to follow your heart.
—— Steve Jobs(1955-2011)
important tool I've ever encountered to help me make the big choices in life.
Because almost everything - all external expectations,all pride, all fear of embarrassment or failure - these things just fall away in the face of death, leaving only what is truly important.
Remembering that you are going to die is the best way know to avoid the trap of thinking you have something to lose. You are already naked.
There is no reason not to follow your heart.
—— Steve Jobs(1955-2011)
476 2239
布拉格的 Day1
P1 布拉格瓦茨拉夫广场，国际博物馆前
P2 博物馆展出的中世纪刺绣织物文物，人物很萌很可爱
P3 布拉格国家博物馆内部大厅穹顶
P4 卡夫卡旋转头像雕塑
P5 悬挂的弗洛伊德
P6 布拉格国家剧院
P7 Rašínovo nábřeží 的圣殿骑士（Templar）骑士手办
P8 高堡外墙的雕像
P9 伏尔塔瓦河上的铁路铁桥
P1 布拉格瓦茨拉夫广场，国际博物馆前
P2 博物馆展出的中世纪刺绣织物文物，人物很萌很可爱
P3 布拉格国家博物馆内部大厅穹顶
P4 卡夫卡旋转头像雕塑
P5 悬挂的弗洛伊德
P6 布拉格国家剧院
P7 Rašínovo nábřeží 的圣殿骑士（Templar）骑士手办
P8 高堡外墙的雕像
P9 伏尔塔瓦河上的铁路铁桥
81 51
1
B 站上线了「AI 无限竞技场」，把站内 up 主对不同大模型的实测聚在一起做了个评测榜。现在专业 Benchmark 已经多到看不过来了，再搞一套民间测评是不是有点噱头？我倒觉得不是。
2
现在公开评测集有一个越来越明显的问题：考题要是重要，模型就会不断「过拟合」。一道题进了 benchmark，模型厂商就会研究它，相关题型、解法乃至原题也迟早会以各种形式进入训练数据。
而 up 主自己临时攒的题反而有个朴素的优势，每次的题库都可以不一样。它不够标准，天然比较难针对性刷榜。
3
另外，真实用户用 AI，本来就不是在做考试。比如这次榜单里面有个「屎山论剑」，让模型去修真实世界里最让程序员头疼的烂代码；有量化 up 主让模型直接模拟交易；有人只用一小段自然语言，让 AI 复刻 B 站首页；还有独立游戏开发者在 12 小时里同时调度几个 AI 做游戏。
这些题不代表着量化的「推理能力 83 分、编程能力 91 分」（我本身也怀疑这种量化的意义，尤其是更细的颗粒度上），同时特别接近用户真正的需求和问题，并且代表着真实的「交付」。交付才更加重要。
Benchmark 上差两三分，有时已经没那么重要了。能力切片和最终交付之间的距离正在动态变化，而且更值得探讨。有的开源小模型能在 Workbuddy 上很好地解决长辈的小问题，让他们用 GPT 最新版本，反而未必有意义。
4
还有一点很有意思：视频本身就是评测结果的一部分。它完整呈现了 AI 的使用过程，而不是黑盒。因此可以回溯，并且理解 AI 目前能做到的程度。单纯看「比上一代提升了 30%」更多是宣传口号，体现不出具体场景。
5
当然，这种测评的缺点也很明显。单个 up 主样本很小，题目主观， 使用方法不一样，都会影响结果。
拿 GPT-6 Astra 的第一名举例，它在目前收录的测试里拿到榜首的次数最多：被测 16 次、拿过 10 次榜首。这个样本量下，出题的类目如何选择、up 主如何选择，会大幅影响结果。
但聚合起来还是有意义。LMArena 本身也是把大量主观选择聚起来，只是这里的颗粒度更粗。
6
B 站本来已经的确是 AI 应用学习和讨论的最重要的中文社区，可能没有之一。
官方的数据是，过去一年 AI 知识内容消费时长同比增长 72%，月均观看 AI 内容的用户超过 1.9 亿。
期待能看到之后的更有意思也更有说服力的榜单。
B 站上线了「AI 无限竞技场」，把站内 up 主对不同大模型的实测聚在一起做了个评测榜。现在专业 Benchmark 已经多到看不过来了，再搞一套民间测评是不是有点噱头？我倒觉得不是。
2
现在公开评测集有一个越来越明显的问题：考题要是重要，模型就会不断「过拟合」。一道题进了 benchmark，模型厂商就会研究它，相关题型、解法乃至原题也迟早会以各种形式进入训练数据。
而 up 主自己临时攒的题反而有个朴素的优势，每次的题库都可以不一样。它不够标准，天然比较难针对性刷榜。
3
另外，真实用户用 AI，本来就不是在做考试。比如这次榜单里面有个「屎山论剑」，让模型去修真实世界里最让程序员头疼的烂代码；有量化 up 主让模型直接模拟交易；有人只用一小段自然语言，让 AI 复刻 B 站首页；还有独立游戏开发者在 12 小时里同时调度几个 AI 做游戏。
这些题不代表着量化的「推理能力 83 分、编程能力 91 分」（我本身也怀疑这种量化的意义，尤其是更细的颗粒度上），同时特别接近用户真正的需求和问题，并且代表着真实的「交付」。交付才更加重要。
Benchmark 上差两三分，有时已经没那么重要了。能力切片和最终交付之间的距离正在动态变化，而且更值得探讨。有的开源小模型能在 Workbuddy 上很好地解决长辈的小问题，让他们用 GPT 最新版本，反而未必有意义。
4
还有一点很有意思：视频本身就是评测结果的一部分。它完整呈现了 AI 的使用过程，而不是黑盒。因此可以回溯，并且理解 AI 目前能做到的程度。单纯看「比上一代提升了 30%」更多是宣传口号，体现不出具体场景。
5
当然，这种测评的缺点也很明显。单个 up 主样本很小，题目主观， 使用方法不一样，都会影响结果。
拿 GPT-6 Astra 的第一名举例，它在目前收录的测试里拿到榜首的次数最多：被测 16 次、拿过 10 次榜首。这个样本量下，出题的类目如何选择、up 主如何选择，会大幅影响结果。
但聚合起来还是有意义。LMArena 本身也是把大量主观选择聚起来，只是这里的颗粒度更粗。
6
B 站本来已经的确是 AI 应用学习和讨论的最重要的中文社区，可能没有之一。
官方的数据是，过去一年 AI 知识内容消费时长同比增长 72%，月均观看 AI 内容的用户超过 1.9 亿。
期待能看到之后的更有意思也更有说服力的榜单。
24 23
