Inkling 发布并获首日推理支持
simonguozirui · x · 2026-07-16
引用内容显示，Thinking Machines 今天发布了 Inkling，并且：
- 这是一个可在 文本、图像、音频 上推理的多模态模型；
- 完整权重开放，可用于 Tinker 上的微调，也能在 Inkling Playground 体验；
- 生态侧已出现 Day-0 支持，相关推理栈提到了 NVIDIA B200/B300、AMD MI350X/MI355X、原生 FP4 serving、统一 kernel 架构、MTP、优化 attention 和 heterogeneous KV cache；
- 贴文还给出一组吞吐数据：在 4×B200 + MTP 下达到 355 tok/s/user。
所属事件:Thinking Machines 首发开权重 Inkling(169 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18