Inkling 发布并提速 15%
LysandreJik · x · 2026-07-16
Thinking Machines 发布了 Inkling：一个开放的大模型，支持文本、图像、音频输入，文本输出，规模为 1T。
帖子重点强调了推理加速的可插拔优化空间：
- 将模型里的 causal Conv1D 替换为 causal-conv1d kernel，只改一行，吞吐提升约 4% tokens/s。
- 再把注意力实现换成 FlashAttention-4，又带来约 11% 提升。
- 合计在不改架构、不重训的前提下，整体吞吐提升约 15%。
- 作者认为 MoE 层仍有更大的优化空间。
这条帖子的核心观点是：kernels 方向能让模型开发者像改配置一样快速接入更优实现，而 kernel 开发者则专注做最快版本，最终让所有使用者受益。
所属事件:Thinking Machines 首发开权重 Inkling(169 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18