网友手工 RLHF 微调 Llama2-13B 让它发帖:直呼太难
cephaloform · x · 2026-11-10
一位网友晒出自己的新折腾：拿到账号后，正在对一个 Llama2-13B checkpoint 做 RLHF，让它学会自己发帖。配图是经典的二选一偏好标注界面——两条回复分别是「crunchies were made to be eaten」和「falls from a tree」，然后人工标注哪条更好。作者感叹「这也太难了」，生动展示了手工做偏好数据有多费劲。
cephaloform · x · 2026-11-10
一位网友晒出自己的新折腾：拿到账号后，正在对一个 Llama2-13B checkpoint 做 RLHF，让它学会自己发帖。配图是经典的二选一偏好标注界面——两条回复分别是「crunchies were made to be eaten」和「falls from a tree」，然后人工标注哪条更好。作者感叹「这也太难了」，生动展示了手工做偏好数据有多费劲。