Mila 等机构发布 HyperQ:给冻结 1.1B 扩散语言模型加量子残差分支
jiqizhixin · x · 2026-11-05
Université de Montréal、Mila 与 McGill 的研究者提出 HyperQ,在冻结的 1.1B 掩码扩散语言模型中加入可训练的 token 级量子残差分支,将其作为一种架构自适应手段,而非宣称量子加速优势。三个要点:
- 按 token 配置电路:小型 hypernetwork(rank 16)根据当前隐状态预测旋转角、耦合强度与测量轴,电路读出结果反馈进注意力相关表示,主干全程冻结。
- 保持计算可控:稀疏电路族(ring + chord 骨架、固定 degree 4)可在经典机器上精确计算期望值,成本随量子比特数线性增长,因此主训练与评测均用高效经典模拟,不依赖量子硬件加速。
- 基准表现:六项基准平均从冻结主干的 49.59% 提升到 54.30%,随电路宽度从 16 到 64 量子比特递增;导数方差在读出初始化下保持稳定,而全连接骨架方差仅 4×10⁻²⁰、读出成本 O(n²)。
论文将完整评测与硬件检查分开,避免夸大量子优势。
「研究」频道最新
- 马普所论文：开启推理让 LLM 更趋同，连错误也一起犯 — rohanpaul_ai · 2026-11-05
- HF 热榜：Qwen3.5-0.8B「权重空间编程」微调模型上榜 — RikiyaT · 2026-11-05
- Nature 发表「涌现失对齐」论文：窄任务微调可致模型广泛失对齐 — davidmanheim · 2026-11-05
- FineWeb-30M 训练提速至 14.2 秒，单节点 8xH100 再破纪录 — RobertTLange · 2026-11-05
- HPI 团队 AI 系统 GorillaMonitor 获国家地理德文版报道 — gdm3000 · 2026-11-05
- Translucent 语言智能体实现自主实验工程，代码与评测全开源 — YashasGunderia · 2026-11-05