探讨在 Strix Halo 上 SSD 流式运行 DeepSeek 与 Kimi 大模型
lawanda123 · reddit · 2026-07-30
发帖者探讨在 AMD Strix Halo APU 上，通过 SSD 流式加载运行 DeepSeek V4 和 Kimi K3 等大模型的可能性。其目标不追求高推理速度，而是希望利用大模型在夜间进行复杂的任务规划，并在白天将具体执行任务下放给较小的模型处理。发帖者正在寻找相关的架构设置经验，并表示愿意自行测试并分享性能数据。
「Infra」频道最新
- QuixiAI开源SlimServe：基于AMD MI300X加速GLM推理 — QuixiAI · 2026-07-30
- ICML 2026 Spotlight:ThunderAgent 实现智能体推理 2 倍提速 — togethercompute · 2026-07-30
- Together Compute 发布多节点推理引擎，支持近线性扩展 — togethercompute · 2026-07-30
- DigitalOcean 成为 Kimi K3 首发推理伙伴，支持百万上下文 — vllm_project · 2026-07-30
- Kimi K3 上线即支持 AMD 平台，vLLM 实现 Day 0 推理 — vllm_project · 2026-07-30
- 驳斥「DeepSeek与国产光刻机」恐慌论：被夸大的成本与差距 — teortaxesTex · 2026-07-30