本地 RAG 选型：跑分第一的模型未必是最优解

Cautious_Bit_8521 · reddit · 2026-08-08

作者认为，在构建本地 RAG 系统时，单纯依赖模型排行榜选型是错误思路。模型在隔离环境下的高分，并不能代表它在结合检索、量化、特定硬件和延迟要求后的真实表现。

作者建议的评估方案是：固定使用 Milvus 作为检索工具，冻结语料库、分块策略和测试集，分别测试模型在「检索到的上下文」和「已知高质量上下文」下的生成能力，以此剥离检索失败与生成失败的界限。此外，量化配置应被视为模型选择的核心部分，而非附加项。

结论是，本地 RAG 没有绝对的「最佳模型」，只有基于接地性、内存、延迟、隐私和成本的权衡前沿。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →