树莓派 Pi 5 8GB 离线助手选型:哪个 LLM 兼顾工具调用与速度?
Capital-Amount-6550 · reddit · 2026-09-30
Reddit 用户想用树莓派 Pi 5(8GB)做一个完全离线的口袋助手,功能包括计算器、文件管理、离线导航和日历等日常生活任务辅助。
难点在选型:找不到一个 LLM 同时满足日常生活知识的参数化知识、良好的工具调用能力和不错的生成速度(TPS)。他向社区求解适合该硬件与场景的模型推荐。
「Infra」频道最新
- netkit 论文:容器网络跨 namespace 吞吐损失高达 31% — tianyin_xu · 2026-10-01
- 开发者搞定 PCIe 组网,即将上线 6 卡 GPU 本地算力 — TheZachMueller · 2026-10-01
- Ben Bajarin 吐槽行业乱象：scale-out 与 scale-up 定义各家不一 — BenBajarin · 2026-10-01
- NVIDIA 联手 Nous Research 详解 NeMo Relay 智能体追踪实践 — NVIDIAAI · 2026-10-01
- stuntd 0.1.2：本地小头替模型做决策，最弱字段决定省多少调用 — Inevitable-Log5414 · 2026-10-01
- 192GB内存Framework Desktop开启预订，11月发货 — gnukeith · 2026-10-01