1.7B 小模型实测:3090Ti 预填充 2 万 token/s,胜任 128k 医疗长文摘要
AdRepulsive7837 · reddit · 2026-11-20
一位处理医疗记录的开发者分享了对 LFM3-1.7B 的初步实测:将患者大段医疗笔记与用药清单(单次约 128k token)喂给模型做摘要与问答,如判断某药物何时加入、某时点医生的处理等。
此前用 Qwen 27B 虽然质量不错,但在其本机上仅预填充就要约 20 分钟;换用 LFM3-1.7B 后速度惊人——3090Ti 上预填充约 20000 token/s、解码约 350 token/s,且事实性可靠、严重幻觉少见。模型偶尔会误解指令,主要是同一药物的通用名/商品名混淆,这一点连无联网的 GPT 与 Claude 也常栽跟头。
作者暂无量化评测数据,属于定性体验分享,并预测 2027 年可能是各家主打 10B 以下小模型的一年。
「Infra」频道最新
- 报告:AI 算力需求远超以往任何计算周期,且不依赖新增用户 — BenBajarin · 2026-11-20
- 分析师:机器人硬件需求将数个量级超越供给多年 — Rewkang · 2026-11-20
- 投资者把 AMD 当英伟达中国危机赢家,但其自身中国业务同样承压 — CurieuxExplorer · 2026-11-20
- 投资人质疑 Hunterbrook 的 AMD 报道:信源看起来很薄弱 — matt_slotnick · 2026-11-20
- Prime Intellect 遭入侵:攻击者获模型服务器管理员权限 — himanshustwts · 2026-11-20
- 号称「算力的好市多」:30+ 种 GPU 每小时 0.2 美元起 — ycombinator · 2026-11-20