5 年前的旧笔记本也能跑 Inkling 量化版,尝到「前 AGI 时代红利」
teortaxesTex · x · 2026-11-21
发帖人展示在 5 年前的旧笔记本上本地运行 Inkling 的 Unsloth 量化版(UD-Q8KXL),感叹连老旧设备都能享受到「前 AGI 好东西」——只要配几 TB 知识库就能离线生存(虽然他自己承认真到那一步也没多大用)。他吐槽这个量化版实际是 BF16 dense + NVFP4 experts 结构,在他设备上性能「可笑」。配图显示 Inkling-2-Mini 以约 12.4 tokens/s 的速度读取并准确解读了一份 DeepSeek「Code Agent Data Engineer」北京岗位 JD,指出该职位负责为代码智能体构建 RL 训练环境,设 Code/Cybersecurity/Science 三个方向。
所属事件:Inkling 量化版可在旧笔记本本地运行 Metal 推理提速 5.8 倍(2 条相关)→
「Infra」频道最新
- 200 万金丝雀令牌实测 AI 服务:三家供应商被盗,转售商偷记录 prompt — AccBalanced · 2026-11-21
- Unsloth 发布新版:26.4B Inkling 2 Mini 可在 16GB 内存运行 — danielhanchen · 2026-11-21
- Seroter 每日阅读清单 #914:编码 harness 易换、模型行为难改 — rseroter · 2026-11-21
- NVFP4 专家权重逼 MoE 上 CPU,重量化后 Metal 推理提速 5.8 倍 — teortaxesTex · 2026-11-21
- Inkling 2 Mini 能效实测:82.3% 准确率仅耗 1.17 kJ,单位能耗智能最佳 — simonguozirui · 2026-11-21
- 算力过剩论者改口:效率每年 4 倍提升,10 年后 10 亿美元算力工作降至千元 — teortaxesTex · 2026-11-21