自研 700 万参数模型塞进 RTX 4090 片上缓存，训练提速 3.6 倍
dejanseo · x · 2026-10-24
开发者 dejanseo 设计了一个 700 万参数的语言模型，可完全装进 RTX 4090 的片上显存运行。关键设计：
- 字节级输入：不需要分词器，词表仅 256
- 线性注意力：无随上下文增长的 KV 缓存，d256、8 层、4 头的小架构
- 自定义 Pallas 内核：为循环注意力写定制 kernel，训练速度达 64.3 万 tokens/秒，比基线快 3.6 倍
训练监控显示验证损失降到约 1.60 bits/byte 且仍在下降。他现在正在测试这么小的模型能否维持像样的对话——若成功，意味着极低资源的常驻对话模型可行。
「Infra」频道最新
- Lafa 流语言模型达 8B:吞吐量达自回归模型 2.54 倍 — LucaAmb · 2026-10-24
- AI 服务器导轨厂商 King Slide 股价五年暴涨 2385% — jwt0625 · 2026-10-24
- CASPA CEO 峰会：半导体回归风投热点，AI 芯片需提速节能千倍 — hardimanjames · 2026-10-24
- 每 token 单价不可信：缓存命中率差异让同一模型任务成本差 2.3 倍 — nicolechirps · 2026-10-24
- 开源玩家存储告急：8TB Gen5 SSD 要价 2719 美元 — TheZachMueller · 2026-10-24
- 曝 DeepSeek 融资规模翻倍至约 150 亿美元，投前估值 740 亿 — 2C_ornot2C · 2026-10-24