仅2万参数81KB的语言模型,也能写出有起承转合的完整故事
x_Raincandy_x · reddit · 2026-10-07
Reddit 用户 raincandy-u 发布了 TinyStories 方向下探的极限实验 MacroStories:一个仅 19,969 参数(81 KB FP32) 的语言模型,号称同类中最小。
关键规格:
- 隐藏维度 32,词表仅 378 token
- 单个 decoder block,以共享权重循环应用 4 次
- 比 1M 参数的 TinyStories 模型小约 50 倍,比 AlexNet 小约 3000 倍
虽非通用 LM,但在受限的故事分布内,它能维持 100–300 词、包含目标/冲突/行动/结局的完整叙事。模型在 CPU 上即可极速运行,无需 GPU。作者旨在探索连贯叙事生成的参数下限,并邀请社区尝试打破它。模型已开源在 HuggingFace。
「模型」频道最新
- 曝 Claude Opus 5.5 已在 Grok 机器人灰度上线,官方尚未证实 — XFreeze · 2026-10-07
- 722 道高难度数学题被模型一次性解出,博主称规模化解题时代来临 — Dr_Singularity · 2026-10-07
- Qwen3.8 Flash Next IQ3_S 量化版实测：基本无损且省内存 — lxfater · 2026-10-07
- 省 token 用 Haiku 跑简单任务翻车:开发者直言再不犯此错 — geoffwolfe · 2026-10-07
- Grok Bot 进步明显,但本地电脑操控仍短板,主打云端计算机 — mark_k · 2026-10-07
- 开发者实测 Grok bot 做 SEO 惊艳,但 Grok 4.5/4.7 不如 DeepSeek v4.1 — gaganghotra_ · 2026-10-07