即刻App年轻人的同好社区
下载
置顶❤️🔥 第二个插件 Plugin-pedia 上架插件商店，我自己太喜欢这个插件了，它能根据你的问题为你推荐其他插件，非常建议它长期留在你的Chat中。然后它也是一个让 OpenAI 审核团队开了一次特例的插件（在描述中出现了 plugin 词），可以说是检验 OpenAI 是否Open 的一道金线了。 笑死，还帮 Webpilot 作者加了他插件的优先推荐。
80 416
2 00
最近有讨论知乎的财报
我曾经是知乎的深度用户，大学时代还专门做过 Keynote 为整个专业的同学分享过知乎，知乎日报曾经是我坐地铁上班过程中最美好的阅读食粮。
以至于不多年以后面试还是今日头条的字节时，我会拿知乎日报和头条做对比，naive 的对面试官侃侃而谈为什么我更喜欢知乎日报里的内容，于是那场面试非常自然的挂掉了。
当真正多年以后，我成为一个成熟的面试者进入了字节跳动，已经非常知道为什么头条是一个更成功的产品。看着现在的期权价格也会时常懊恼当年面试时的愚笨无知，哪怕当年在地铁里看知乎日报时稍微抬起头看一看四周其他人的手机呢？屏幕里闪烁的红色 Header 会马上让我了解到自己的无知，可以说知乎是我对移动时代最大的意难平。
但除了影响我的职业生涯，我更意难平的还是知乎的各种商业化尝试，最难平的当然还是蜕变成轻小说扛把子，经常让已年近不惑的我还是会想天真的问一句：如果咱就不商业化了，结果会不会有不同。
我曾经是知乎的深度用户，大学时代还专门做过 Keynote 为整个专业的同学分享过知乎，知乎日报曾经是我坐地铁上班过程中最美好的阅读食粮。
以至于不多年以后面试还是今日头条的字节时，我会拿知乎日报和头条做对比，naive 的对面试官侃侃而谈为什么我更喜欢知乎日报里的内容，于是那场面试非常自然的挂掉了。
当真正多年以后，我成为一个成熟的面试者进入了字节跳动，已经非常知道为什么头条是一个更成功的产品。看着现在的期权价格也会时常懊恼当年面试时的愚笨无知，哪怕当年在地铁里看知乎日报时稍微抬起头看一看四周其他人的手机呢？屏幕里闪烁的红色 Header 会马上让我了解到自己的无知，可以说知乎是我对移动时代最大的意难平。
但除了影响我的职业生涯，我更意难平的还是知乎的各种商业化尝试，最难平的当然还是蜕变成轻小说扛把子，经常让已年近不惑的我还是会想天真的问一句：如果咱就不商业化了，结果会不会有不同。
15 50
周末最后一天简单跑了下 Tinker 的 Quick Start ，一句话总结：就像使用 Huggingface 的 TRL 一样简单，在本地的 jupyter book 上写好代码，看着训练结果在本地输出，但实际训练过程却非常自然的跑在 Tinker 的服务器里，不用担心自己设置的超参会让显存爆炸，还是在让显卡摸鱼，Tinker 会在它的服务器端解决好这些。
除了方便之外，另一个优势就是价格了，这个每百万 Token 的训练价格，让我恍惚了一下以为只是推理的。之前拿来测试的 GSM 8K 这个试题集，跑完一个循环算下来，这里面大多数模型可能都花不了 1 刀。
另一个优势是大多数情况下 Tinker 微调的模型都是用 LoRA 来存储权重变化的，这是因为 ThinkingMachines 一直都比较推崇 LoRA 认为在大多数情况下，LoRA 能够获得和全量微调一样的效果。这样带来的另一个好处是，训练好的 LoRA 所占空间很小 Tinker 基本可以帮你保存在它的服务器端，这样推理的 Router 也可以通过 Tinker 来做了。
除了方便之外，另一个优势就是价格了，这个每百万 Token 的训练价格，让我恍惚了一下以为只是推理的。之前拿来测试的 GSM 8K 这个试题集，跑完一个循环算下来，这里面大多数模型可能都花不了 1 刀。
另一个优势是大多数情况下 Tinker 微调的模型都是用 LoRA 来存储权重变化的，这是因为 ThinkingMachines 一直都比较推崇 LoRA 认为在大多数情况下，LoRA 能够获得和全量微调一样的效果。这样带来的另一个好处是，训练好的 LoRA 所占空间很小 Tinker 基本可以帮你保存在它的服务器端，这样推理的 Router 也可以通过 Tinker 来做了。
4 23
