按需提精度：小模型解码不确定时动态升级权重位数
Mohammed Nayeem Khan · hf · 2026-11-12
提出一种动态权重精度分配策略：对小本地 LLM 采用低比特量化，并通过基于不确定性的门控机制，在解码过程中检测到不确定步骤时选择性升级该处权重精度，从而在保持生成质量的同时优化计算成本。
「Infra」频道最新
- Latent Sparse Attention 用聚类索引 KV，比全注意力快 70 倍 — bendee983 · 2026-11-12
- e-means 聚类算法提速 10-45 倍，1.4 个 epoch 就击败 k-means — pmttyji · 2026-11-12
- AWS re:Invent 五大预测:Bedrock Agent 升级与 Trainium 新品领跑 — DavidLinthicum · 2026-11-12
- FlagOS 携手 MiniCPM5-2B 推理吞吐挑战赛开赛，奖金 3 万元 — _jaydeepkarale · 2026-11-12
- Vera Rubin 开始出货，富士康 Q3 净利创纪录达 775 亿新台币 — ns123abc · 2026-11-12
- 实测算账：买 4 台 DGX Spark 一年赚 74%，跑赢 NVIDIA 股票 — OwariDa · 2026-11-12