开发者用纸笔级多项式拟合与马尔可夫链玩转语义建模

有网友提问「LLM 本质是数学，理论上能否用纸笔手算 AI」，开发者 cephaloform 用一组推文给出了一个可复现的极简答案：不训练任何权重，也能玩语义建模与简易文本生成。这组帖子值得关注之处在于，它把「特征」「词向量」「RLHF」等概念还原到纸笔可算的形态，适合入门者直观理解语言模型的工作原理。

已确认

• cephaloform 演示的方法是：人工给一组词打分作为「训练集」，用多项式拟合这些分数（上下文约 4 个词，特征形如 1、x₁·x₂、x₃² 等），并用马尔可夫链集成决定词性，再用随机一维语义特征投影的多项式组合线性拟合，在特征维度上找与目标最接近的词。
• 他还演示了类似「硬币式 RLHF」的探索玩法：把特征权重视为对语言解释能力的探索，可以手动调节来生成诗歌式文本。
• 他纠正了一个常见误解：说 random feature 时不必真的生成一组随机权重，可以只挑单一语义轴（如「这个词多活跃」「这个词多积极」），再用 activity×positivity 之类的乘积组合出特征。
• 他分享了一个实验性技巧：操纵模型语义特征时，权重应保持在 -1 到 1 的范围内，否则生成结果会混乱。

为什么重要

• 这组内容以极低的门槛复现了词向量、特征工程、RLHF 等核心概念，把抽象的语言模型机制变成可手工操作的小实验，对教学与入门理解有直接价值。

2026-09-16 ~ 2026-09-16 · 5 条相关

• 【源头】「AI 能用纸笔手算吗」引出硬核玩法:马尔可夫链+多项式投影做词性标注 — cephaloform · 2026-09-16
• 随机特征不用生成权重组:单轴投影加马尔可夫链也能玩语义建模 — cephaloform · 2026-09-16
• 【源头】不用训练权重:手工特征也能做出简易词向量 — cephaloform · 2026-09-16
• 【源头】极简 DIY：用多项式拟合加硬币式 RLHF 探索语言模型的解释性 — cephaloform · 2026-09-16
• 网友分享：把语义特征权重控制在 -1 到 1 可避免生成混乱 — cephaloform · 2026-09-16