AWS博客：llama.cpp上SageMaker部署决策模型，GPU尾部延迟快32倍
AWS ML Blog · rss · 2026-10-12
AWS 机器学习博客发布教程，演示如何在 Amazon SageMaker AI 上用 llama.cpp DLC 部署决策模型——面向请求路由、Agent 动作选择、策略判定等需要在固定选项集上打分而非自由生成的场景。
两条部署路径：标准路径直接用 llama.cpp DLC 提供 OpenAI 兼容 chat completions；结构化决策路径构建子镜像，接入 SemIf（原 OpenJev），不生成答案 token，直接返回各选项的概率分布（含 optionlogits），便于应用侧做阈值、降级与策略校验。
实测数据（JevBench 231 题，Qwen3.5-4B Q4KM）：CPU（ml.c6i.8xlarge）p50 1.715s / p95 19.3s，GPU（ml.g6e.xlarge，L40S 全层卸载）p50 0.352s / p95 0.599s，GPU 快 4.9 倍（p50）与 32.2 倍（p95），准确率 77.5% vs 77.9%（差异属运行时波动）。更小的 2B/0.8B 模型延迟更低但准确率降至 66.7%/58.4%，故默认保留 4B。
选型建议：后台/离线任务用 CPU；交互式、长 prompt、紧尾延迟目标用 GPU；共享状态打分可复用 prompt 前缀；授权与确定性业务规则应留在模型之外。
「编程与Agent」频道最新
- 替代压缩上下文:让 Claude Code 自动清空并从 checkpoint 续跑 — Motiv31 · 2026-10-13
- 用 Muse Wonder 的 CUA 给 Agent 当验证器,自迭代生成应用 — EdwardSun0909 · 2026-10-13
- Meta 发布 Wonder 模型,被赞一次找出其他 agent 漏掉的安全漏洞 — alexandr_wang · 2026-10-13
- Claude 努力等级实测经验：八成任务用 medium 就够 — EricBuess · 2026-10-13
- OpenCode 2.0 可跑在 Cloudflare Durable Objects，官方给出集成方案 — ritakozlov · 2026-10-13
- 用双 Hook 打造 Claude Code 受治代码评审环:独立 Agent 签收才能合并 — SeanOliver · 2026-10-13