无需 GPU 的激活对齐：表格 ICL 少样本砍一半性能不掉
Independent-Researcher · hf · 2026-10-07
论文研究表格基础模型的上下文学习（ICL）成本问题：这类模型每次预测都要处理全部训练样本，限制上下文数量可省算力但性能大幅下降。
作者提出 activation alignment：用全上下文的「教师」激活去引导只看部分上下文的「学生」，只需在合成无标签数据上训练一个轻量线性变换。训练不需要 GPU，在普通硬件上数秒到数分钟收敛。
在 TabArena 的 38 个分类数据集上，对 TabPFN-3 和 TabFM 两个领先表格基础模型，对齐后的学生在所有上下文预算下均取得统计显著的提升；低数据场景下可恢复教师约一半的预测优势。
「研究」频道最新
- Ai2 发布 Olmo-core MoE 高效训练技术报告，TLDR 干货密集 — StasBekman · 2026-10-07
- OAIC 大会展示 vf3 模糊测试器，速度超 Jackalope 与 libprotobuf-mutator — dyn___ · 2026-10-07
- Scott Alexander 公开信回应 Pinker:通用智能因子真实存在,AI 能力将持续攀升 — Astral Codex Ten · 2026-10-07
- 论文:扩散 Transformer 生成早期即可读出大量图像信息 — kwangmoo_yi · 2026-10-07
- 合成细胞为何五代即衰:答案是它无法分解自身「垃圾」 — NikoMcCarty · 2026-10-07
- LLM 数值线性代数综述：从 QR 算法到支撑大模型的矩阵方法 — Abdelkader Baggag · 2026-10-07