为 brainfuck 编程 agent 打造字符级迷你 tokenizer 上架 Hugging Face
cephaloform · x · 2026-09-12
开发者 crumb 在 Hugging Face 上发布了一个字符级 tokenizer「onlytokenizeryoulleverneed」,词表仅 70 个字符,专为跑 brainfuck 语言的编码 agent「swarm」训练设计。作者自嘲式调侃这是「你唯一需要的 tokenizer」,属于极简 tokenizer 的恶搞兼实用尝试,已可通过 transformers 的 trustremotecode 加载。
「编程与Agent」频道最新
- 用 prompt 实时迭代生成编程环境,演示引关注 — arthurcolle · 2026-09-12
- Meta 首席 AI 官：一群 Agent 轻松胜过百人工程师团队 — rohanpaul_ai · 2026-09-12
- AI 产品真正的成本在原型之后：可靠、安全与扩展的隐性账单 — goyalshaliniuk · 2026-09-12
- AI 产品隐藏成本第 6、7 条:安全合规与永无止境的维护 — goyalshaliniuk · 2026-09-12
- AI 产品隐藏成本第 5、4 条:监控可观测性与延迟性能 — goyalshaliniuk · 2026-09-12
- AI 产品隐藏成本第 6、5 条:安全合规与监控可观测性 — goyalshaliniuk · 2026-09-12