开源工具把数百万条日志压缩成能塞进 LLM 的小快照

CommanderAlPachino · reddit · 2026-10-22

发帖人此前用 5 万条日志找出 2 个异常模式,这次进一步把方案开源:可将数百万条日志压缩成一份能放进 LLM 上下文的极小快照。

使用方式:docker compose 一键起,把 example-setups 里的日志文件指给它即可看聚类过程。完全本地运行、不调用任何 LLM;可让自己的 agent 在产出的快照上推理,避免在百万条日志上烧 token 或幻觉。建议玩法:在廉价后端持续生成并存储快照,agent 需要时爬取快照做实时异常检测。深度集成的需求可私信作者。