机密计算:LLM 服务商拿下企业百万美元订单的关键一环
abhijithneil · x · 2026-09-27
工程师 abhijithneil 分享的一篇博客与完整实验环境:做 LLM 推理服务的工程师或供应商,几乎必然会被企业客户问到“我的数据对模型提供方是否私密”。
要点:
- 数据隐私问题直接决定企业大单能否落地——回答不好可能丢掉百万美元合同
- 自托管模型的服务商需要了解机密计算(confidential computing)
- 作者与业内多家头部供应商合作后总结了该领域的核心知识
- 文章用通俗语言讲解机密计算原理,并公开了完整的实验搭建过程
兼具安全/隐私技术与推理服务工程的实用内容。
「Infra」频道最新
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16