3090上跑Qwen 27B本地RAG，韩语基准打平Opus

Front-University4363 · reddit · 2026-10-24

博主在单张 3090 上用 Allganize 韩语 RAG 基准(300 题、64 份 PDF、每题已知答案与出处)系统评测了本地模型:

qwen3.8 27B(思考模式)77.3% vs Opus 5.5 76.6%,McNemar 检验 p=0.82,基本打平；换 Opus 当裁判结论一致(80.6 vs 80.3)。关掉思考 qwen 掉约 6 分。
瓶颈已不是模型：Opus 的 70 次失误中，22 次是无文字层的扫描件、23 次是检索没召回正确页，真正模型答错只有 25 次。2024 年商用系统(Alli + Claude 3.5 Sonnet)仅在扫描页上明显胜出(19:1),因为博主没做 OCR。
检索侧细节影响巨大：BM25 配空白切词 hit@5 仅 56%,换韩语形态学分词器后升到 80%。
gpt-oss 20B 起初仅 57.5%,发现是 1024 token 截断了思考过程，放宽到 8192 后升至 69.6%。
KRAFTON 新的 Raon-1 mini(30B MoE,约 4B 激活)约 74-75%,3090 上 96 tok/s,但 temp 0 + 思考模式在 320 题中 16 题陷入死循环。

作者也坦诚局限：全部单次 temp 0 运行，跨硬件 11 个判决翻转，1 个百分点的差距无意义；自写的 20 道不可回答题太简单，所有模型全拒答。脚本、逐题判决与完整表格已开源。

「编程与Agent」频道最新