探讨将 AI 模型硬编码进 SoC 以实现超快推理
kingslayerer · reddit · 2026-08-28
提议创建一种 AI 嵌入式 SoC，将模型权重像 CD 数据一样硬编码在芯片中。
- 核心想法：利用晶体管数量（如 2000 亿）直接存储模型数据，而非计算。
- 预期优势：推理速度极快，因为数据直接“快照”在类 RAM 结构中。
- 应用场景：可能让 ESP32 等微控制器也能运行小型 LLM（B 级或 T 级参数）。
- 讨论点：询问这种类似 ROM 但更像 RAM 的布线是否可行，以及制造难度是否被高估。
「Infra」频道最新
- 手把手：用 Terraform 与 GitHub Actions 将 Agent 部署至 AWS ECS — kmeanskaran · 2026-08-28
- AMD ROCm 10.0.0 发布：扩展支持矩阵并简化安装流程 — AnushElangovan · 2026-08-28
- llama.cpp 合并 DFlash2 支持：本地卷积加候选选择器 — DjCanalex · 2026-08-28
- Gemma 4 MLX 挑战赛启动，Mac 端性能提升 8% — gajesh · 2026-08-28
- llama.cpp 合入 DFlash2：局部卷积+候选选择器上本地推理 — jacek2023 · 2026-08-28
- Google 探讨无状态 MCP，助 Agent 工具弹性伸缩 — rseroter · 2026-08-28