用 3 万参数 LoRA 微调 Transformer 预测 2 小时血糖

0xdeadf1sh · reddit · 2026-11-14

Reddit 用户 0xdeadf1sh 开源了 T1DMAI 项目:一个仅 31,253 参数的 encoder-only Transformer,用于预测自己的血糖走势。

训练方法:先在约 19,200 CGM-年的合成数据(100 万模拟 1 型糖尿病患者、每人 7 天)上预训练,再用自己 115 天的真实 CGM 数据(80 天训练 / 35 天测试)通过 LoRA 微调适配器。
输入输出:除血糖时间序列外,还输入胰岛素剂量曲线(精确值 U)和碳水+升糖指数曲线(G, GI 为估计值);模型在 Kovatchev 风险空间用 {DILATE, MSE} + pinball loss 训练。
能力:可预测未来 2 小时血糖、补全缺失轨迹、做回溯预测;≥48 小时上下文时还能自发涌现出根据血糖推断当前时刻的能力,原生上下文窗口 3.5–7 天。
局限:未来约 30 分钟内的低血糖预测仍不如作者本人;合成模拟器本意支持反事实推理(预测未来胰岛素/碳水的影响),但尚无下游 benchmark。

源代码已在 GitHub 开源。

「研究」频道最新