PIPO：长推理的双向加速架构
小红书技术REDtech · wechat · 2026-07-10
小红书大模型基建团队提出 PIPO（Pair-In, Pair-Out）架构，用于提升长链路推理的效率。它在输入侧把两个 token 压缩成一个 latent，在输出侧通过 MTP head 一次展开更多 token，从而同时缓解长上下文 prefill 和逐 token 解码的瓶颈。
「Infra」频道最新
- 黄仁勋东京会见日本半导体高层 — nvidia · 2026-07-21
- Infinity 启动并融资 1500 万美元 — mmmbchang · 2026-07-21
- 如何参与Stratum并获取$STRAT — rsalakhu · 2026-07-21
- LLM每token能耗或已低于人脑 — jd_pressman · 2026-07-21
- Couchbase 的多模型 AI 架构实践 — AWS ML Blog · 2026-07-21
- 一天实测Kimi K3：上限高但代价大 — Tarandjpop · 2026-07-21