24KB 单文件 HTML 语言模型手机上可跑 60 tok/s,能生成连贯故事
Chromix_ · reddit · 2026-10-09
Reddit 用户 Chromix 在 r/LocalLLaMA 发布了一个仅 24KB 的独立 HTML 语言模型,可生成连贯故事,手机上推理速度超过 60 tok/s,在线即可直接体验(点击 "New seed" 换不同故事)。
关键技术细节:
- 基于本地 Qwen3.8 与 81KB FP32 的 MacroStory 模型改造,采用 Ouro looping transformer 格式
- 从 24KB 再往下压极难:压缩到 20KB/0.01 KLD 容易,最后 5KB 花了大量时间,最终方案 KLD 约 0.04(偶发重复句或开头不接)
- 微型模型尺寸规律与大模型相反:embedding 占模型体积 60%,而大模型中权重张量才是大头
- LittleBit 式 1bit 量化在 tiny 模型上数学上不划算:矩阵太小,修正数据开销吃掉全部收益;GGUF K 量化同理,甚至 3KB 量化收益会被 3KB safetensors 元数据抵消
- 压缩手段:自适应量化 + QAT,HTML/JS minify + zopfli 打包,以及多处脚本结构调整;LittleBit、Rotation 等方法反而有害
- 作者还提供了隐藏彩蛋:Python 本地推理版与未打包 HTML,藏在一张图片里,用 tar/7-Zip 解包即可
「应用」频道最新
- 亚马逊封杀AI购物代理,沃尔玛反其道开放AI代买 — venturetwins · 2026-10-23
- 生命科学 AI 数据平台 Lamin 正式 GA,一个包替代十余种工具 — ycombinator · 2026-10-23
- Ethan Mollick 分享用 Codex 审计电脑安全实用提示词 — emollick · 2026-10-23
- Escalante 新文:用设计 binder 组合编码实现高通量蛋白组鉴定 — PatrickKidger · 2026-10-23
- 作者让 AI 慕僚长 Boardy 当播客嘉宾:它坦承给不了可信数据 — chickefitz · 2026-10-23
- 本地转录工具 LokalBot 登陆 Linux/Windows，全栈开源可换模型 — stevyhacker · 2026-10-23