SQLite 存 10KB 小文件比文件系统快约 35%,原因在系统调用开销
arpit_bhayani · x · 2026-11-20
作者分析了为什么存大量小 blob 时 SQLite 往往优于直接写文件系统:
- 读路径:每次文件读取都要 open/read/close 多次系统调用,外加目录查找与权限检查;10 万个小文件就要付 10 万次开销。SQLite 只打开一个文件并保持打开,读 blob 基本是页缓存里的 B-tree 查找。
- 磁盘占用:文件系统按块(通常 4 KiB)分配,10 KB 文件实际占 12 KiB;SQLite 把记录紧密打包进页内,浪费更少。
- 写入:要原子更新 50 个文件,裸文件 IO 需要写临时文件、逐个 fsync、rename 再 fsync 目录,还要处理中途崩溃;SQLite 自带基于 journal 的原子提交。
权衡:blob 变大后优势消失;单写者是硬限制;单个巨大数据库文件不便排查。结论是处理大量小文件时优先考虑 SQLite。
「Infra」频道最新
- 美国机床一半靠进口:Physical AI 的俄罗斯套娃式瓶颈 — chrisgrayson · 2026-11-20
- KB证券:明年DRAM合约价将涨40%,大客户只能拿到七成货 — tengyanAI · 2026-11-20
- 美国新规或封堵台积电三星代工的中国 AI 芯片,阿里已转单中芯 — terryyuezhuo · 2026-11-20
- 本地推理党吐槽:196GB 内存不够玩,512GB 才起步 — AIFlow_ML · 2026-11-20
- BitDecoding-FP4:原生 FP4 KV 缓存解码,精度不输 BF16 — kalyan_kpl · 2026-11-20
- 解码更快不等于 agent 先跑完:prefill 速度决定胜负 — AIFlow_ML · 2026-11-20