实测 Stanford NCM：单请求快 4 倍，64 并发反慢 4-8 倍
Prompt Engineering · youtube · 2026-10-28
YouTube 频道 Prompt Engineering 对 Stanford Hazy Research 的 Next-Concept Modeling（NCM）做了独立本地实测。NCM 不逐 token 生成，而是先粗略勾出答案草图、最后一遍写出精确文字，用少数几遍 pass 替代逐 token 的多遍生成。论文宣称单请求快 31 倍、Sudoku 达 86%。
作者的实测结果更冷静：
- 在 DGX Spark 上对比同规模逐 token LLM：单请求最多快约 4 倍；但 64 个并发请求时反而慢 4-8 倍——吞吐场景下优势反转。
- 作者还自己训练了一个扩散模型解 Sudoku，加入「先填最有把握的格子」的解码策略后，成绩追平 NCM 的 86%，暗示论文的关键增益可能来自该策略而非架构本身。
视频附完整章节、论文/代码/checkpoints 链接（arXiv 2610.14162），并指出了大多数报道遗漏的点与 NCM 的局限。
「Infra」频道最新
- 云厂商别忘本：企业上云主力仍是计算存储网络等基础服务 — DavidLinthicum · 2026-10-28
- 沙特 HUMAIN 披露 AI 基础设施筹建：选址与电力评估先行 — HUMAIN · 2026-10-28
- llama.cpp 新 PR 融合 MoE 矩阵乘与 GLU,Qwen3 系列 CUDA 吞吐最高提 17% — jacek2023 · 2026-10-28
- 5分钟可视化拆解LLM API调用全链路：从网关到GPU — HowDevelop · 2026-10-28
- 高通 GenieX 让任意 GGUF 模型跑上骁龙 Hexagon NPU，附实测数据 — SkyFeistyLlama8 · 2026-10-28
- 缓存命中价仅 2%：一文讲透 Agent 循环里的 Prefix Caching 省钱术 — Arindam_1729 · 2026-10-28