跑长上下文 Agent 任务,llama.cpp -cram 默认值该调大了
My_Unbiased_Opinion · reddit · 2026-09-24
Reddit 发帖提醒:llama.cpp 的 prompt 缓存参数 -cram 默认 8192MB,在长多轮 agent 工作流下不够用,会导致整个上下文重新处理、速度暴跌。作者在 Qwen 27B 3.8、262K 上下文下实测把 -cram 调到 20480 效果很好。代价是内存占用增加,但显存不变。
「编程与Agent」频道最新
- 长上下文让 Agent 忘事,Meta 记忆代理将基准提升至 45.9% — DeepLearningAI · 2026-09-25
- Claude Code 2.0 实战指南：Sub-agent、Hooks 与上下文工程 — dejavucoder · 2026-09-25
- mitsuhiko 吐槽：AI 模型用代码改文件的体验依然糟糕 — mitsuhiko · 2026-09-25
- Nimble 成为 ChatGPT 与 Codex 官方插件,为 AI 提供深度网页上下文 — OpenAIDevs · 2026-09-25
- 两周密集开源：Rust 取消安全异步运行时 Asupersync — doodlestein · 2026-09-25
- 韩国开发者用 Codex 复刻《超时空要塞 Plus》机体 — algo_diver · 2026-09-25