单台 DGX Spark 微调 MedGemma:4B 肿瘤任务从 56% 升至 71.6%
Few-Rough-2215 · reddit · 2026-10-06
一位开发者仅用一台 DGX Spark,用 LoRA/QLoRA 在肿瘤学任务上微调 MedGemma 4B 与 27B,公开数据、5 个数据集 9 项任务、2199 题冻结测试集、配对 McNemar 检验:
- 4B 准确率 56.0%→71.6%(训练仅 2h39);27B 68.8%→77.9%
- 微调后的 4B 反超基座 27B(p=0.002),生物标志物状态抽取达 97.5%
- 弱点:ICD-10 精确编码仅 37.6%;MCQ 从验证集到测试集全面崩塌,原因不明
更重要的发现:作者疑似在 Unsloth 下 LoRA scale 存在偏差——名义 alpha=16 合并适配器后性能大部分丢失,用 alpha=32(约 2 倍)合并则正常;身份探针与有效 scale≈2×alpha/r 一致。作者已放探针脚本求独立复现。另外 bf16 舍入会在合并时抹掉 17-37% 的 delta 元素,逐字记忆内容(如训过的誓词)无法保留。
模型、测试集与报告(含 DOI)均已开源,作者声明仅供研究、非医疗器械。
「研究」频道最新
- 骨骼肌肉形态空间漫游:会变形的骨架研究演示 — zzznah · 2026-10-06
- 表格基础模型怎么推理？nanoTabPFN 架构拆解笔记 — pandeyparul · 2026-10-06
- WaveFront 解码让循环语言模型提速最高 4.81 倍,无需训练 — pmttyji · 2026-10-06
- HLA-WM：免训练混合注意力，长视频世界模型记忆省12倍 — Monash · 2026-10-06
- LiFT 循环Transformer：参数省60%，FID 反降3.34点 — VISLab-Amsterdam · 2026-10-06
- GeoSET：首个SAR转光学通用基础模型，300万对训练数据 — Jeonghyeok Do · 2026-10-06