Dev demos pen-and-paper semantic modeling with polynomial fits and Markov chains
有网友提问「LLM 本质是数学，理论上能否用纸笔手算 AI」，开发者 cephaloform 用一组推文给出了一个可复现的极简答案：不训练任何权重，也能玩语义建模与简易文本生成。这组帖子值得关注之处在于，它把「特征」「词向量」「RLHF」等概念还原到纸笔可算的形态，适合入门者直观理解语言模型的工作原理。
已确认
- cephaloform 演示的方法是：人工给一组词打分作为「训练集」，用多项式拟合这些分数（上下文约 4 个词，特征形如 1、x₁·x₂、x₃² 等），并用马尔可夫链集成决定词性，再用随机一维语义特征投影的多项式组合线性拟合，在特征维度上找与目标最接近的词。
- 他还演示了类似「硬币式 RLHF」的探索玩法：把特征权重视为对语言解释能力的探索，可以手动调节来生成诗歌式文本。
- 他纠正了一个常见误解：说 random feature 时不必真的生成一组随机权重，可以只挑单一语义轴（如「这个词多活跃」「这个词多积极」），再用 activity×positivity 之类的乘积组合出特征。
- 他分享了一个实验性技巧：操纵模型语义特征时，权重应保持在 -1 到 1 的范围内，否则生成结果会混乱。
为什么重要
- 这组内容以极低的门槛复现了词向量、特征工程、RLHF 等核心概念，把抽象的语言模型机制变成可手工操作的小实验，对教学与入门理解有直接价值。
2026-09-16 ~ 2026-09-16 · 5 related posts
Primary sources
- Hand-computable AI? Markov chains plus polynomial feature fits for POS tagging — cephaloform ·
- DIY interpretability: polynomial fitting plus coin-flip RLHF to explore how features explain language — cephaloform ·
- Skip the weights: building toy word embeddings from hand-crafted feature axes — cephaloform ·
- [source] Hand-computable AI? Markov chains plus polynomial feature fits for POS tagging — cephaloform · 2026-09-16
- Single-axis random features beat full weight sets; a Markov-chain POS tagger trains in an hour — cephaloform · 2026-09-16
- [source] Skip the weights: building toy word embeddings from hand-crafted feature axes — cephaloform · 2026-09-16
- [source] DIY interpretability: polynomial fitting plus coin-flip RLHF to explore how features explain language — cephaloform · 2026-09-16
- Tip: keep semantic feature steering weights between -1 and 1 or output gets messy — cephaloform · 2026-09-16