网友手工 RLHF 微调 Llama2-13B 让模型学会自己发帖

网友 cephaloform 晒出自己的 DIY 项目：对 Llama2-13B 的 checkpoint 进行手工 RLHF 训练，目标是让模型学会自己发帖。他采用经典的二选一偏好标注界面来收集人类反馈，并称这是他最喜欢的基座模型，但坦承整个过程「真的很难」。这一分享展示了个人开发者尝试复现大模型对齐流程的实际难度。

2026-11-10 ~ 2026-11-10 · 2 条相关