thinkingmachines.aiTinker 是一套面向研究者/工程师的 LLM 训练/微调 API:你用 Python 掌控训练循环与数据,平台在后台负责分布式算力、调度与容错;支持 监督微调(SFT)与强化学习(RL),目标是让前沿模型的定制更容易但不“黑盒”。
终于有人开始做将 Fine-tune 和 Post-train 过程降低门槛到普通人都可以尝试的程度了。因为要加入等候名单所以还没开始尝试,简单看了下他们的 文档 使用起来应该和 hugging face 的 Transformers 的体验是类似的,自己定义好数据和训练方法就可以开始训练了。
最大的不同是 HF 的 Transformers 需要你自己部署在本地运行训练,首先来说通常用户自己的个人设备是不行的,很多时候就需要去租用一个云 GPU 主机了,但是如果你想尝试的模型尺寸比较大,数据集比较多,一般的云 GPU 主机通常只能给你一张或者两张显卡,通常是不够的,即便有些云 GPU 主机可以给你一个显卡集群,但是要利用好这些显卡进行高效的并行计算,对用户的要求也太高了。
但对 Tinker 来说看起来就是让你可以有 HF 的 Transformers 类似的自定义程度,同时不用再去管 GPU 集群的模型训练效率的问题了。