1.7B 小模型实测:3090Ti 预填充 2 万 token/s,胜任 128k 医疗长文摘要

AdRepulsive7837 · reddit · 2026-11-20

一位处理医疗记录的开发者分享了对 LFM3-1.7B 的初步实测:将患者大段医疗笔记与用药清单(单次约 128k token)喂给模型做摘要与问答,如判断某药物何时加入、某时点医生的处理等。

此前用 Qwen 27B 虽然质量不错,但在其本机上仅预填充就要约 20 分钟;换用 LFM3-1.7B 后速度惊人——3090Ti 上预填充约 20000 token/s、解码约 350 token/s,且事实性可靠、严重幻觉少见。模型偶尔会误解指令,主要是同一药物的通用名/商品名混淆,这一点连无联网的 GPT 与 Claude 也常栽跟头。

作者暂无量化评测数据,属于定性体验分享,并预测 2027 年可能是各家主打 10B 以下小模型的一年。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →