112M 参数 PhiloLM 仅用哲学语料从零训练,350 美元 GPU 训 15 小时
antcroca159 · reddit · 2026-11-21
Reddit 用户发布 PhiloLM:一个 112M 参数、纯用开放哲学文本从零训练的小型基础模型。
- 训练数据:PhiloText 数据集,约 0.5B token,涵盖斯坦福哲学百科(SEP)、IEP、公版书籍、评论、教科书与教育网页
- 训练效率:仅 1.5B token,在一块 350 美元的 Intel Arc A770 上训练 15 小时
- 技术栈:Muon 优化器、bigram 嵌入、滑窗注意力、GQA
- 推理:在 150 美元的 i5-14400F CPU 上达约 500 token/s
模型与数据集已在 Hugging Face 开源,并提供浏览器在线试玩。
「研究」频道最新
- 陶哲轩博客谈黎曼假设:AI 生成证明路线与 Masullo 手稿进展 — burny_tech · 2026-11-21
- 社区 4 小时 35 人并行复算 Alpöge 黎曼猜想证明,已完成 18.76% Lean 模块 — RexDouglass · 2026-11-21
- 递归自我改进基准 FrontierRSI 发布,作者访谈上线 — Madisonkanna · 2026-11-21
- 四个独立内核验证通过,Lean 核心团队确认黎曼猜想形式化证明 — altryne · 2026-11-21
- MIT CSAIL 论文:更强 LLM 不会让 Harness 失效,反而是组合泛化器 — MIT_CSAIL · 2026-11-21
- 流传 Anthropic 攻破 ring-LWE?双倍高效 PIR 或面临冲击 — matthew_d_green · 2026-11-21