研究：小模型 NLI 任务上，简单 prompt + 少样本胜过复杂技巧
rohanpaul_ai · x · 2026-11-11
希腊 Hellenic Open University 等机构的论文《How Many Examples, and Which Ones?》挑战了「NLI 任务需要复杂 prompt 与采样技巧」的惯例。
- 测试 Llama、Mistral、Gemma、Phi 4 等小模型，覆盖 MNLI、QNLI、SciTail 数据集，用简短直接 prompt 配 0–15 个示例
- Mistral 7B 用单条直接 prompt 就超过了同模型 published ICS 采样方法 63.4% 的 MNLI 准确率
- Gemma 2、Llama 3.1、Mistral 在 1 个示例与 15 个示例下成绩几乎相同
- one-shot 时示例标签选择影响显著，entailment 示例最好；few-shot 少量代表性示例即可持平或超过更多示例
结论：简单直接的 prompting 一致地持平或优于 ICS、MCQ 等复杂方法，但效果依赖模型与数据集。
所属事件:研究称小模型 NLI 任务简单提示即可媲美复杂技巧(2 条相关)→
「研究」频道最新
- PufferLib 单 GPU 每秒训练 6000 万样本，RL 库全开源 — jsuarez · 2026-11-11
- Artificial Analysis 智能指数权重频繁变动,单一基准权重波动达数倍 — HamelHusain · 2026-11-11
- Benchling 发布 BenchBench-Refusals:GPT-6.1 Sol 88.4% 居首,Opus 5.5 无认证仅 40.4% — nlarusstone · 2026-11-11
- 斯坦福 top 2% 榜单：Anthropic 科学家引用量是 OpenAI 两倍多 — NegotiationOk7535 · 2026-11-11
- MAEP：免训练按模态剪枝，可将 MoE 多模态模型压缩 90% 专家参数 — nota-ai · 2026-11-11
- Fable 5.2 登顶 GDPx 芯片设计榜(16.4%),但部分任务零提升 — ycombinator · 2026-11-11