即刻App年轻人的同好社区
下载
App内打开
瓦尔特
1k关注380被关注0夸夸
•👾一切都是最好的安排
•📖|🏊|🎶|🎮|🏀|💤|🎞
·📍随性公众号:WhaleThinking
置顶
瓦尔特
3年前
1990年,“旅行者1号”经过12年的飞行,长途跋涉64亿千米,最终到达太阳系边缘,这是前所未有的。“旅行者1号”还为地球拍了一张照片,照片中,地球只是漆黑背景中的一个光点。地球的这一形象引起了人们的广泛共鸣,卡尔·萨根(Carl Sagan)将这个光点形象地称为“暗淡蓝点”(Pale Blue Dot),并以此为号召,呼吁人类善待彼此、保护地球:“在宇宙中,我们的地球只是被黑暗包围的一粒孤独的尘埃……不会有来自其他地方的帮助拯救我们……我们这个渺小世界的遥远图像……提醒我们应该善待彼此,爱护和珍惜这个暗淡蓝点,这是目前我们所知的唯一的家。”

1994年,卡尔·萨根的著作《暗淡蓝点》(Pale Blue Dot)出版,他在书中引用了这张照片,并进行了反思:
让我们再看看那个光点吧。它就在这里。那是我们的家园。那就是我们。你所爱的每一个人,你认识的每一个人,你听说过的每一个人,曾经存在过的每一个人,都在这里度过了他们的一生。我们所有的快乐和痛苦,数不胜数的宗教信仰、意识形态和经济学说,所有猎人与强盗,英雄与懦夫,文明的创造者与毁灭者,国王与农夫,相爱的年轻夫妇,母亲与父亲,满怀希望的孩子,发明家与探险家,德高望重的老师,腐败的政客,“超级巨星”,“最高领袖”,人类历史上的每一个圣人和罪人,都生活在这里——一粒悬浮在阳光中的微尘。
5235
瓦尔特
10天前
2018年,麻省理工学院的乔纳森·弗兰克尔(Jonathan Frankle)和迈克尔·卡宾(Michael Carbin)正在研究“剪枝”——即在训练后移除不必要的权重。

他们的发现为这个规模悖论提供了一个优雅的解决方案。他们发现,在每一个大型网络内部,都隐藏着“中奖彩票”——一些微小的子网络,它们能够达到完整网络的性能。他们可以剔除掉96%的参数而丝毫不损失准确率。每一个成功的大型网络,其绝大部分实际上都是“累赘”。

但关键的洞见在于:这些“中奖”的子网络,只有在它们原始的随机初始权重下才能成功。一旦改变了这些初始值,同样的稀疏架构就会彻底失败。

彩票假说(The lottery ticket hypothesis)由此成型:大型网络之所以成功,不是因为它们学习了复杂的解决方案,而是因为它们为寻找简单的解决方案提供了更多机会。权重的每一个子集都代表一张不同的彩票——一个拥有随机初始化的、潜在的优雅解决方案。大多数彩票都会“刮空”,但当你有数十亿张彩票时,中奖就变得不可避免。

在训练过程中,网络并不是在寻找完美的架构。它内部已经包含了无数个拥有不同初始条件的小网络。训练变成了一场大规模的彩票开奖,那个初始化得最好的小网络最终胜出,而其他数十亿个则逐渐消亡。

这一启示让经验上的成功与经典理论和解了。大型模型并非在死记硬背,而是在广阔的参数空间中,寻找那些被隐藏起来的、优雅而简单的解决方案。奥卡姆剃刀原则(Occam's razor)依然有效:最简单的解释仍然是最好的。规模,只是变成了一种更复杂的工具,用来寻找那些简单的解释。

这一发现的意义超越了人工智能。如果学习意味着寻找能够解释数据的最简单模型,而更大的搜索空间能促成更简单的解决方案,那么这就重新定义了“智能”本身。

智能并非关乎记忆信息,而是关乎发现能够解释复杂现象的优雅模式。规模为这种搜索提供了所需的计算空间,而不是为复杂的解决方案提供存储空间。
00
瓦尔特
10天前
Arvid Kahl:最近我发现了 v0、Lovable 这类工具的一个很好的用法。它们可以帮助你向潜在客户展示产品集成的效果。前几天,在和一家数据分析公司交流后,我把我们的对话录音转录稿交给了 Claude,让它生成一个用于 Lovable prompt,来制作一个集成方案的原型。Lovable 生成页面后,我花了一个小时进行微调。第二天早上,我就把一个可交互的演示链接发给了对方,完整地展示了我们的数据如何嵌入他们的系统。这就是销售赋能 (Sales Enablement)。

我也经常用它来统一设计风格。比如,Junie 可以访问我项目里所有的前端视图文件。我可以直接对它说:「找出那些风格不一致的文件,并统一它们。」

AI 写代码,不只是让它实现你已知的逻辑,更是让它帮你探索和落地那些你可能从未想过的点子。

https://mp.weixin.qq.com/s/uc31KNMK_gRA7IWNvRg9Tg

00
瓦尔特
10天前
中世纪的船长还要依靠另外两种工具来辨别自己在茫茫大海中所处的方位:

第一种工具是测深绳。测深绳的历史差不多与船一样久远,利用它可以测出大海任意一点的深度。假如一个船长有一幅标有不同海深的航海图,并按照航海图的指示慢慢前行的话,那么他可以根据测深绳测量出附近海域的情况,以确定自己的方位。

另一种工具是测速仪。最原始的测速仪是一小块木头,把它从船头扔进水中,然后仔细观察它出现在船尾用了多长时间。因为船身的长度是已知的,这样就可以计算出船经过某个地方需要多少时间,以及船每小时能航行多少英里。

后来,绳子慢慢替代了测速仪的小木块。这种绳子又细又长,而且还非常结实耐用,绳子的末端绑着一块三角形的木板。绳子提前依照一定的长度打上一个个的绳结,两个绳结之间的距离就是一“节”。一个水手把绳子扔进水中的同时,另一个水手就打开沙漏。沙子漏完时(当然,此人提前知道沙子漏完需要的时间),就把绳子拖上来,数一数在沙漏漏完时有多少节进水了。最后,只需要简单地计算一番,就可以知道船航行的速度了,或者用水手习惯的说法就是“多少节”。
00
瓦尔特
1月前
瓦尔特
1月前
瓦尔特
1月前
瓦尔特
2月前
AI 更像一台巨型“语料望远镜”:
它能把人类已经说清楚的区域放大到亚毫米级;
却对“尚未被语言殖民的黑暗大陆”保持系统性失明。
00
瓦尔特
2月前
在《金殿之争》中美国艰难赢下塞尔维亚后教练组坐在场馆外的阶梯上喝冰啤庆祝,科尔问问坐在远处的詹姆斯要不要来一罐,詹姆斯稍微犹豫了一下,然后说来吧,这必须得来一下。看到那个场景,才能感受到哪怕是梦之队,在一场定输赢的比赛中也会有怕的时候,真正的决定之匙是在逆风情况下内心的强大,哪怕是梦之队也不是每个人都有,但是团队中有这样的球员且关键时刻站了出来进而带动了整个团队看到胜利的希望,整个团队的情绪从消沉转变为积极,最终翻盘。(科尔后来接受采访说:“在任何系列赛中你都会遇到一场真正考验你的比赛”,如果能翻过去那就是另一个境界了)
当听到“个人英雄主义”时,会认为这是负面偏多的一个概念,但是当一个团队处在逆风、生死一刻的时候,最需要的就是能承担责任的“个人英雄主义”。
00
瓦尔特
2月前
最近和一位导演聊到了 Sora,他拍过一些我们大家都知道的电影。他说,比如他正在制作的一部科幻电影,我们可以拿《星球大战》打个比方:比如你有一个镜头是飞机飞向“死亡星球”那种结构,然后飞机俯瞰整个星球,接下来你要见到另一个镜头 —— 飞机降落到了地面,观众突然能看到城市、建筑等等全景。那你怎么去处理这个剪辑和过渡呢?
他跟我说,两年前,他会找一家特效公司,花十万美元,对方大概花一个月时间,会做出两个版本的剪辑过场。但一个月后,假设这两个版本都不是自己想要的呢?他也没办法,只能硬着头皮从里面选择一个,因为等不起两个月。现在他可以用 Sora,自己在脑中构思一个提示词 prompt,模型也能和他一起“头脑风暴”。
然后他能拿到五十个不同版本的剪辑过场,之后还可以基于这些版本反复迭代、细化,组合不同想法。最后他当然还是会找那些特效工作室去制作最终版本,但在此之前他已经完成了创意探索。
整个过程就变得更加具有创造性,而且最终成果也更出色。这就是我借助 AI 所能做到的。所以我对创造力这件事的看法是:不会有人对着 Sora 说“给我做部好电影”,然后它就自动给你生成一个。
这需要创意、独创性和各种能力。但 AI 可以帮你探索更多可能性,它可以帮助你得到更好的最终结果。」
00