4M 参数话题监视器实时读取 Gemma 3 激活，逐 token 打标
CatAstro_Piyush · x · 2026-11-13
MercityAI 团队在 arXiv 发布首篇论文：构建了一个不到 400 万参数的话题监视器，读取 Gemma 3 的内部激活，对生成过程中的每个 token 实时标注话题。仅用 prefill 阶段数据训练，即可对 90-98% 的 Gemma 自生成 token 按用户指定话题打标。
- 现有流式监视只能判别安全/有害，话题护栏通常要等完整回复生成后才能生效
- 该工作是首个随生成逐 token 追踪话题的方案
- 意义：可在模型输出偏离指定话题时即时干预，而非事后拦截
「研究」频道最新
- 自研 74M 参数流式音频编解码器 LiquidCodec 曝光 — helloiamleonie · 2026-11-13
- Memgraph 用 26 美元合成数据微调 1B 模型，合成基准 94% 公开榜仅 41% — JeremyCMorgan · 2026-11-13
- LM head 反向传播丢失 95-99% 梯度，提高 head rank 加速收敛 16 倍 — yoavartzi · 2026-11-13
- BioSecBench-Structure 发布：58 项评估测 agent 生物安全结构推理能力 — kenbwork · 2026-11-13
- Daniel Kokotajlo:预训练 loss 是可检验任务,几乎代理一切下游能力 — nitarshan · 2026-11-13
- MIT 发布 AI 风险缓解分类法 3.0:47 个框架提炼 2206 条缓解策略 — Exp_Mark · 2026-11-13