Qwen3.8-27B 挑战 21 天自研 CUDA 推理引擎：230M token 仍未跑赢 llama.cpp

udmrzn · x · 2026-10-29

一项极限 agent 实验：让 Qwen3.8-27B 用 21 天尝试构建一个在单张 RTX 3090 上超越 llama.cpp 的 CUDA 推理引擎，最终未成功，但过程数据极具参考价值。
实验规模：21 天开发、180 个 subagent、处理 2.3 亿 token、17 亿 cache-read token、699 次上下文压缩（累计 83 小时）、仅约 12 次人工干预。
DeepSeek Harness 负责协调 subagent、任务交接与上下文限制，Qwen3.8-27B 经 vLLM + HyperQwen 运行。
核心结论：这不是一次性 coding prompt，而是持续的工程努力（实现、调试、benchmark、反复优化），实验揭示了「能维持数周软件项目的 agent」与「能真正达成性能指标的 agent」之间的差距。

「编程与Agent」频道最新