如何在共享机器上运行本地大模型且不留存数据
Developer-Y · reddit · 2026-08-24
用户需要在大学共享机器上运行 Qwen 3.8 模型进行医疗研究，处理敏感患者数据。核心诉求是确保不在远程机器上保存任何聊天历史或应用日志。用户发现一些工具（如 OpenCode、DeepSeek harness）会保留会话。提问寻求不记录数据的推理引擎或配置方案。
「Infra」频道最新
- HotChips 会谈：所有加速器公司将押注 3D DRAM 或 zHBM — GavinSBaker · 2026-08-24
- 实测 Gemini Pro/Ultra、Claude Pro 速率限制：Prompt 缓存是关键 — CopycatProfessor · 2026-08-24
- 微软 Build 推出 Rayfin SDK 与 HorizonDB，打造统一 Agent 应用后端 — adnan_hashmi · 2026-08-24
- Hillock v0.5：用 SQLite 和 VSA 实现本地 Agent 轻量记忆 — Equivalent-Flan-1590 · 2026-08-24
- HotChips 观点：HBF 适用有限，能效比比成本更关键 — BenBajarin · 2026-08-24
- Qwen 2.5 27B 量化评测：Q4 足够，Q6 最稳 — Fun-Meaning-6474 · 2026-08-24