前 OpenAI CTO Mira Murati 创立的 Thinking Machine。
在成立一年半之后,终于推出了他们的第一款模型:Inkling
MoE 架构,总参数量是 975B(快 1T 了),激活参数为 41B,拥有 1M 的上下文窗口。
模型在 45T 的数据上训练,原生支持多模态,包括文本、图像和音频理解。
此外,还有一个更小的 Small 预览版模型,激活参数为 12B。
这个模型是开源的。他们的数据(后训练数据)是从一系列开源模型(例如 Kimi 2.5)中蒸馏得到的。
详情:
thinkingmachines.ai