975B参数的开源模型,你打算拿什么卡跑?
Murati离开OpenAI之后的Thinking Machines放出了第一个大货Inkling,多模态、开源权重。我觉得定位挺清醒:官方直说这是给你做微调的底座,不跟闭源旗舰拼上限。成绩上,它在Artificial Analysis的指数里压过了美国其他开源模型,但部分任务仍被国产顶级开源压着,这个格局有点微妙。API定价是输入每百万token 1.87美元。
这体量自己部署基本跟消费级显卡无缘了,量化完能塞进什么规格的机器,我还挺好奇。
975B参数的开源模型,你打算拿什么卡跑?
Murati离开OpenAI之后的Thinking Machines放出了第一个大货Inkling,多模态、开源权重。我觉得定位挺清醒:官方直说这是给你做微调的底座,不跟闭源旗舰拼上限。成绩上,它在Artificial Analysis的指数里压过了美国其他开源模型,但部分任务仍被国产顶级开源压着,这个格局有点微妙。API定价是输入每百万token 1.87美元。
这体量自己部署基本跟消费级显卡无缘了,量化完能塞进什么规格的机器,我还挺好奇。
975B,H100得堆一柜子