Sakana AI 联手 NVIDIA：新方法减少 LLM 数据浪费
SakanaAILabs · x · 2026-07-22
Sakana AI 与 NVIDIA 合作、旨在减少大语言模型内部计算开销的研究，被《日经数字治理》报道。
- 配图重点解释了一种新的数据处理思路：在不牺牲性能的前提下，减少无谓的数据重排与处理浪费。
- Llion Jones 的评论指出，能够共享 NVIDIA 的专业知识，是项目成功的重要因素。
- 图中对比了传统 ELL 和新方案 TwELL：后者在 GPU 一次可处理的范围内重新组织稀疏数据，从而避免后续排序与搬运开销。
- 这项工作的核心启发是：对稀疏结构做更好的组织，可能让 GPU 处理更快。
「Infra」频道最新
- EdgeRock 开源：256K 上下文 KV cache 仅 72 MiB，比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍 — PyTorch · 2026-10-27