从贪吃蛇生成看本地模型评测:端到端任务跑分
niacolhealth · reddit · 2026-09-02
作者回顾了关于 Ling-3.0-flash 在单 DGX Spark 上运行的讨论,指出单一的吞吐量基准(如 INT4/MXFP4 速度测试、256K 上下文)容易掩盖实际使用中的问题。作者审查了一段在 NVIDIA GB10 设备上运行的视频记录:通过 llama-server 工作流,模型在 70.57 秒内生成了 2429 个 token(约 34.42 tok/s),成功编写并运行了一个单文件 HTML 贪吃蛇游戏。虽然这不能代表长上下文稳定性或复杂负载性能,但提供了一条可检查的从 Prompt 到运行实物的完整链路。作者询问社区,有哪些小型端到端任务曾暴露出吞吐量基准完全遗漏的问题。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格,开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元,缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B:262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18