级联决策引擎：2ms 马尔可夫链先答，4B MoE 兜底 44ms
inawhole · reddit · 2026-10-15
开源项目 Gevva0 展示了一个多层级联决策引擎的架构（以下为作者自述数据，未独立验证）：
- Tier -1 静态规则（<50µs）：可热更新的正则/关键词守卫，不占 GPU
- Tier 0 吸收马尔可夫链（<3ms）：用 EmbeddingGemma-2（740M）把查询嵌入 768 维空间，闭式求解随机游走吸收概率，344 个域外样本上早退准确率 100%、零误退出
- Tier 1 快速 logits（35ms）：Gemma 4 26B-A4B MoE（激活 4B）单次前向，自定义 K=64 micro-head 把 262,144 行词表切到仅 52 个答案字母，输出头计算减少 99.98%，77.9% 查询零 token 生成即解决
- Tier 2 有界 CoT（≤256 token）：最难的 17.1% 请求复用 Tier 1 已预填充的 KV 缓存直接推理，省去双重 prompt 处理，长上下文延迟最多降 30%
作者声称：在自建 JevBench 上，Gevva0 以 44ms 中位延迟在机会校正智力上超过 Claude Opus 4.6 Thinking（84.62 vs 83.90，后者 4,850ms）；4B 激活级联在 60ms p50 下超过 27B 稠密模型，约快 7 倍；附 Pacman demo 展示 60 FPS 实时游戏循环就绪。
项目地址：https://github.com/solvingSteve/Gevva0
「Infra」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23