Qwen2.5-1.5B 推扫测试无退化阈值
Nearby_Indication474 · reddit · 2026-07-15
这条 Reddit 贴记录了一组针对 **Qwen2.5-1.5B** 的 steering sweep 测试，并与前一轮的 **TinyLlama** 结果做对比。 - 在同样的协议、同样的 FUD 问题、同样的固定参数和 greedy decoding 下，Qwen 的多样性曲线**提前见顶、保持平台期**，但在测试区间内**没有跌破 vanilla baseline**。 - 作者认为原因来自 kernel logs：TinyLlama 在部分层的 `cos(theta)` 变为负值，因此表现得像“brake”；而 Qwen 的 `cos(theta)` 在全部 20 层都保持正值，因此更像“accelerator”。 - 结论是：对于这组问题与这套架构，TinyLlama 会出现“刹车式”的退化阈值，而 Qwen 在测试范围内没有表现出同样的阈值。