微调移除 GQA：Qwen 3.8 27B 实验与协作招募
Signature97 · reddit · 2026-09-02
作者尝试通过微调将 Qwen 3.8 27B 模型的 GQA（Grouped Query Attention）层替换为 KDA 层，以降低 KV Cache 开销。受 Arcee 公司 DistilKit 工具的启发，作者设计了策略并在约 26.2K tokens 上进行了初步实验，结果发现性能不佳，特别是在 GSM8K 数据集上表现大幅下降，复现了 Arcee 提到的挑战。由于个人算力资源有限，作者在 Reddit 发帖呼吁社区 pooling 资源，合作开展更大规模的微调实验。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18