探讨用 yarn 将 Qwen3.8-27B 上下文扩至 100 万所需显存
m31317015 · reddit · 2026-08-18
Reddit 用户询问是否有人成功使用 yarn 将 Qwen3.8-27B 模型的上下文窗口扩展至 100 万 tokens,并希望了解具体所需的显存容量。
「Infra」频道最新
- DSCO Router 推出多模型统一网关,支持自带账号自动路由 — arthurcolle · 2026-08-24
- 开源方案 RobotSoul:为 Agent 提供上下文重置后的持久身份 — robauto-dot-ai · 2026-08-24
- 将 MoE 模型卸载至 RAM 运行会遭遇极慢的 Prefill — former_farmer · 2026-08-24
- Etched获10亿美元融资,Jane Street领投验证专用芯片 — TheTuringPost · 2026-08-24
- ConvRot 量化方法入驻 llama-cpp,Q6 接近 Q8 精度 — giveen · 2026-08-24
- LifeOS:基于本地模型的语音驱动个人管理工具 — Extension-Bid-639 · 2026-08-24