即刻App年轻人的同好社区
下载
Saining Xie在智源上做了非常棒的分享，体会比较深的几点：
1.多模态VQA的瓶颈在于CLIP，需要新的、跟不上不同的自监督的范式
2.V*提出了一种使用语言引导的视觉搜索机制，本质上是在构建一个视觉工作记忆+Reasoning机制
3.CLIP是新时代的ImageNet预训练模型，是strongly supervised learning! 而现在视觉的自监督范式卡住了，没有新的进展。
**推荐看视频最后的10分钟**
听Saining Xie感受到了顶尖科学家和科研打工仔的区别...
1.多模态VQA的瓶颈在于CLIP，需要新的、跟不上不同的自监督的范式
2.V*提出了一种使用语言引导的视觉搜索机制，本质上是在构建一个视觉工作记忆+Reasoning机制
3.CLIP是新时代的ImageNet预训练模型，是strongly supervised learning! 而现在视觉的自监督范式卡住了，没有新的进展。
**推荐看视频最后的10分钟**
听Saining Xie感受到了顶尖科学家和科研打工仔的区别...
2024智源大会 谢赛宁 Language Models Need Better Visual Grounding For Meaning And Unders_哔哩哔哩_bilibili
2 02
认真想了下sine这个小工具是：辅助用户渐进式的、研究式的、非线性的（Graph）的展开用户关心的问题，最终形成可分享的、可运行的notebook。不懂UI就简单画了画图，一点点实现起来yay
4 60
感觉我们的教育系统的目的就是培养出这样品质的人。以我自己为例，经常觉得赚人钱是有些羞耻的事情。
zxch3n: 太真实了，我家人就是名校毕业资源匮乏，但是非常理想主义，做了很多逆趋势的选择。在影响下也让我很理想主义。所以我很能理解，毕竟没有背景和资源的小镇做题家毕业时的唯一骄傲就在这些理想主义里了，所有努力似乎就能“天道酬勤”地得到回报。没有背景和资源，在和现实摩擦之前也很难知道社会怎么运作的。
1 00
这两天在反思测评系统：
1.在之前的经历中(做实验比较多)，测评指标非常重要，它是目标和方向，测评指标的确定和建立要**先**于动手做；论文中的指标在实际应用中和用户体验一般都有不小的gap，但是构建反映实际场景的指标(在自动驾驶领域)很困难
2.NLP领域我是小白，但是在做一些开发的时候，时常会对生成的结果没有定量描述感到不安，因为很多时候可能都是“感觉”，并且也没有类似的tensorborad工具来观察prompt变化后定量的变化。项目简单或在初始阶段，花大力气建立测评可能的确是"Premature Optimization"
3.相关的研究的确有，例如LLM-as-a-judge这种，推上也有一些讨论：x.com
4.万能的即友都是怎么做的呢？ 有没有什么推荐的工作或者做法呢？
1.在之前的经历中(做实验比较多)，测评指标非常重要，它是目标和方向，测评指标的确定和建立要**先**于动手做；论文中的指标在实际应用中和用户体验一般都有不小的gap，但是构建反映实际场景的指标(在自动驾驶领域)很困难
2.NLP领域我是小白，但是在做一些开发的时候，时常会对生成的结果没有定量描述感到不安，因为很多时候可能都是“感觉”，并且也没有类似的tensorborad工具来观察prompt变化后定量的变化。项目简单或在初始阶段，花大力气建立测评可能的确是"Premature Optimization"
3.相关的研究的确有，例如LLM-as-a-judge这种，推上也有一些讨论：x.com
4.万能的即友都是怎么做的呢？ 有没有什么推荐的工作或者做法呢？
KleinHE: 分享一篇由宝玉老师翻译的帖子，内容与我和同事、朋友们长期以来的体会非常契合。 《使用大语言模型 (LLMs) 构建产品一年后的经验总结》 其中提到的一个常见误区是将传统软件开发的经验直接应用到 LLM 开发中，过早地建立 Eval 系统。 实践告诉我们，不要过分依赖指标。很多 LLM 相关论文中的评估指标在实践中仅能作为参考。 - 对于可校验的结果，进行单元测试验证； - 对于不可校验的结果，通过人机协作进行评估和改进。 另一个有趣的点是：在格式化数据时，Claude 偏好 XML，而 GPT 更倾向于使用 Markdown 和 JSON。这侧面反映了两家公司在训练时处理结构化数据方式的不同。 感谢@Random_thoughts 哥的分享
1 00