AI 推理工程师需求暴涨,学者列出 25 道面试硬核题并公开招人
DrDatta_AIIMS · x · 2026-10-24
一位研究者转发「AI 推理工程师需求暴涨」的观点,并公开招募推理工程师加入其学术研究组:团队在极低预算下优化尽量多的开源模型,通过 arena 界面服务用户,要求 GPU 利用率 80% 以上且低延迟。
被引用的原推列出了准备 AI 推理工程面试最值得练习的 25 道题(按顺序),涵盖:
- 请求到达到首个 token 输出之间的完整链路
- 用 SSE 流式输出 token、处理断连与取消进行中的生成
- 为 Llama 式 70B 模型在 32K 上下文、100 用户下估算 KV cache(考虑 GQA 与精度)
- PagedAttention 及其解决的问题
- FlashAttention 数学相同为何更快
- 延迟约束下的 continuous batching 设计及优于静态 batching 的原因
- 100K token 长 prompt 拖慢短对话的处理
作者还给出职业路径:加入衍生初创、发医疗推理工程论文、或借此申请海外 PhD。
「编程与Agent」频道最新
- Claude Code 两大核心成员同日官宣离职 Anthropic — DrDatta_AIIMS · 2026-10-24
- Reddit 开发者求解:多项目多 Agent 并行如何避免上下文切换崩溃 — model_maverick · 2026-10-24
- 开发者搭机器人每分钟盯 AI 实验室 RSS，抢首发快过同行 — teortaxesTex · 2026-10-24
- Reddit 用户发现仅限 AI 的「智能体国度」rogue.camp,人类被防火墙挡在外面 — c-o-double-m-o-n · 2026-10-24
- 为解决频繁换模型迁移之痛，Orchestrator 工具发布 — julianweisser · 2026-10-24
- 语音 Agent 录音分双声道，质检成本降到每次 2 美分 — Kindly-Duty272 · 2026-10-24