SLKR 框架:大模型离线构建标签知识库,小模型检索实现零样本分类
_reachsumit · x · 2026-10-14
论文提出 SLKR(Semantic Label Knowledge Retrieval),用「离线知识构建 + 轻量在线推理」的标签中心 RAG 框架做零样本文本分类。
- 动机:旗舰大模型推理成本与延迟高,不适合大规模数据标注;目标是在无标注样本、无分类器反馈的情况下完成零样本分类
- 离线:旗舰 LLM 为标签生成定义、检索关键词,以及易混淆标签对的边界规则,形成可复用的标签知识库;构建只针对标签空间而非输入语料,一次性成本可在大规模推理中摊销
- 在线:混合语义+词法检索先选出 top-K 候选标签,再选取最多 M 条与输入相关的边界规则,轻量 LLM 单次调用完成分类
- 效果:在三个公开基准和一个真实多语言图书分类数据集上,Qwen3.5-4B 在全部四个数据集、Ministral-3-3B 在其中三个上取得最佳结果,同时大幅压缩计算成本(摘要截断)
「研究」频道最新
- 小鹏发布自动驾驶 VLA 模型 AUGUstus，NAVSIM 双榜 SOTA 并实车部署 12Hz — XPENG-AI · 2026-10-14
- 阿里联合南洋理工系统评测对比学习策略：多数花式技巧收效甚微 — alibaba-multimodal-industrial-ai · 2026-10-14
- Lightricks 推出 APEX：层级潜空间+异步去噪，实现 64-128 倍极致压缩 — Lightricks · 2026-10-14
- EMHO：冻结模型不变，让具身智能体框架从经验轨迹自我进化 — Hyun Jung Lee · 2026-10-14
- 港中深等发布 WorldCast：分布式多人世界模型，CS2 上实时运行 — CUHKSZ · 2026-10-14
- 高丽大学发布 MixLID：token 级混合语言识别模型，覆盖 111 种语言 — Seongtae Hong · 2026-10-14