Taco：跨 7 种后端哈希一致的整数化 LLM 压缩方案
phoenix10701 · reddit · 2026-10-20
开源项目 Taco 解决 LLM 压缩的一个核心痛点：解码器必须与编码器算出完全相同的概率，但浮点运算跨硬件不一致——float GPT-2 在 Mac 上编码后到 x86 上 4 个窗口一个都解不开。
方案要点：
- 纯整数推理：int8 权重、固定舍入、查找表
- 精确的 float32→整数转换器（尾数 × 2^指数）
- 一致性测试向量（conformance vectors）
验证：在 7 个后端（Mac CPU/Metal、Linux CPU/CUDA、Windows CPU/CUDA/Vulkan）上实现单一哈希一致。项目地址：github.com/tac0mania/taco
「Infra」频道最新
- 买整机比单买卡便宜：Dell 工作站配 RTX Pro 6K 售价反低于裸卡 — Sentdex · 2026-10-20
- 液冷泄漏可让整个 AI 工厂停摆数日,专家吁跨域遥测关联与拓扑级根因分析 — ai · 2026-10-20
- 中国拟新增40项技术出口管制:23项涉AI — pstAsiatech · 2026-10-20
- Stripe 详解 Agent 辅助反欺诈：更全的历史数据是提召回关键 — emilygsands · 2026-10-20
- Stripe 用 Agent 跑机器学习实验，为商家年堵数千万美元欺诈 — emilygsands · 2026-10-20
- Google Cloud 提出 Agent Substrate：挂起/恢复成智能体核心原语 — rseroter · 2026-10-20