随机特征不用生成权重组:单轴投影加马尔可夫链也能玩语义建模
cephaloform · x · 2026-09-16
作者纠正一个常见误解:说 random feature 时不必真的生成一组随机权重,可以只挑单一语义轴(如"这个词多活跃""这个词多积极"),再用 activity×positivity 之类的乘积组合出特征。
他随后给出一个可复现的小玩法:用集成马尔可夫链做词性标注,把语义特征的 1D 随机投影拟合到多项式组合(如 1、x₁x₂、x₃²)的线性方程上,上下文窗口约 4 个词;训练一小时就能跑通,采样过程也很有趣。
所属事件:马尔可夫链加单轴投影实现可手算的语义建模(3 条相关)→
「研究」频道最新
- 近 100% 通过率：先取有效结果再反向造题的合成数据妙招 — tokenbender · 2026-09-16
- Periodic Labs 用 1300 块 H200 训出 Neon,材料分析超 GPT-6 Astra — LiamFedus · 2026-09-16
- OpenAI 基金会启动 Public Data for Health，1.25 亿美元资助科研数据开放 — owl_posting · 2026-09-16
- Periodic Labs 用 Kimi 2.5 底座训出科学模型，性能超越 Astra — teortaxesTex · 2026-09-16
- OpenAI 基金会投 1.25 亿美元资助开放健康科学数据集 — CarissaVeliz · 2026-09-16
- 新论文:视频模型物理规则可改写,但存在明确深度边界 — ZimingLiu11 · 2026-09-16