用MinHash+LSH做去重、按角色分类：我的AI资讯过滤管线
Short-Balance-1542 · reddit · 2026-10-02
作者分享了自己跟上每日 AI 资讯的实践管线：
- 近重复检测：用 MinHash + LSH 高效识别不同来源的同一新闻，避免用 LLM 逐篇比对推高 API 成本。
- 角色分类：先试传统 ML 和开源方案 openjev，精度不佳；后来用上 JEV，把文章分为研究员、软件/AI 工程师、创业创新、噪音四类，效果不错。
- 下一步：在排序前为相关性、影响力、来源可信度、事实准确性分别建信号，目标是做一个「不被信息淹没的个性化情报层」，以每日邮件形式交付。
作者还提出三个开放问题：如何把 MinHash/LSH 与 embedding 结合做更好的去重、类别重叠时如何评估角色分类器、如何低成本按影响力排序。
「编程与Agent」频道最新
- Ofir Press 回应 bug 基准争议：训练该行为可取，但不许刷测试集 — OfirPress · 2026-10-03
- 资深开发者：AI 擅长写代码造资产，却做不好游戏手感设计 — rms80 · 2026-10-03
- 免费 AI Agent 学习路线：一天四级从入门到 MCP 与安全 — ifioknkem · 2026-10-03
- 用 Swift 调用 System One 模型:毫秒级确定性决策,成本远低于 LLM — rxwei · 2026-10-03
- 一条全局规则并行跑 50 个 AI agent：后台任务流工作流分享 — Daniel_Farinax · 2026-10-03
- 为何 Linear Agent Session 比 Slack 更适合智能体协作 — jeff_weinstein · 2026-10-03