5 年前的旧笔记本也能跑 Inkling 量化版,尝到「前 AGI 时代红利」

teortaxesTex · x · 2026-11-21

发帖人展示在 5 年前的旧笔记本上本地运行 Inkling 的 Unsloth 量化版(UD-Q8KXL),感叹连老旧设备都能享受到「前 AGI 好东西」——只要配几 TB 知识库就能离线生存(虽然他自己承认真到那一步也没多大用)。他吐槽这个量化版实际是 BF16 dense + NVFP4 experts 结构,在他设备上性能「可笑」。配图显示 Inkling-2-Mini 以约 12.4 tokens/s 的速度读取并准确解读了一份 DeepSeek「Code Agent Data Engineer」北京岗位 JD,指出该职位负责为代码智能体构建 RL 训练环境,设 Code/Cybersecurity/Science 三个方向。

所属事件:Inkling 量化版可在旧笔记本本地运行 Metal 推理提速 5.8 倍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →