文本分块算法再优化：最坏延迟从 37.1 秒压到 585 毫秒
DanielLockyer · x · 2026-10-26
DanielLockyer 展示本周的性能改进，配图给出四组分块处理的 Before/After 延迟对比：
- 英文文本、8 字符分块、2,666 token 上限：904ms → 69ms
- 英文文本、8 字符分块、10,664 token 上限：13.7s → 287ms
- 英文文本、3 字符分块、10,664 token 上限：37.1s → 585ms
- 中文文本、2 字符分块、2,666 token 上限：211ms → 13ms
最坏情况的分块耗时被压缩了约 60 倍，大 token 上限场景从秒级进入毫秒级。
「Infra」频道最新
- 人形机器人 DRAM 需求暴涨20倍？算账后仅占2026产能0.04% — zephyr_z9 · 2026-10-26
- 30 天烧掉价值 5300 美元的 token，订阅制只付了 300 美元 — theteknosaur · 2026-10-26
- Jane Street 等高频交易巨头自建数据中心、投资芯片创业公司 — The Decoder · 2026-10-26
- 仓鼠跑轮供能跑本地 AI：直播界面显示速度 0.1、AI 负载 22% — Sad_Measurement_7502 · 2026-10-26
- 1 万美元预算配本地 agentic 编码机器：单卡 5090 还是 4×3090？ — Shadmelor · 2026-10-26
- 自建本地推理集群日耗 24 万度电，网友戏称「中彩票的信号」 — TheZachMueller · 2026-10-26