自爬数据微调翻车复盘:样板污染与去重顺序才是隐形杀手
Symeoon · reddit · 2026-11-03
一位开发者分享了用自采网页数据微调模型时踩到的坑与解法:
- 样板污染是隐形杀手:导航菜单、cookie 横幅、页脚文本混进训练样本后,模型开始生成「半渲染 HTML」式的怪异结构输出。解决方案是放弃纯文本抽取,改用激进的 DOM 定向提取,并叠加按请求轮换 IP 的住宅代理层,让目标站点返回与真实浏览器一致的完整 DOM,而非被反爬过滤后的残缺骨架,原始 HTML 干净度明显提升。
- 去重顺序影响显著:先精确去重再模糊去重,与反过来做,得到的训练集差异可观,模型复述原句的倾向随之明显变化。
- 未解难题:跨语言近重复检测。MinHash 在单语内效果尚可,但多语种语料上不断出现棘手边缘案例。
作者同时抛出两个开放问题:多语语料去重有无更原则化方案,以及如何判断爬取数据「够干净」可以停止清洗直接开训。
「研究」频道最新
- 普林斯顿发布RAVEN：视觉嵌入替代字幕记忆，机器人可跨天检索导航 — shahdhruv_ · 2026-11-03
- 化学家亲历：AI 数分钟复现他 2021 年耗时数月的计算 — CatAstro_Piyush · 2026-11-03
- Prefrontal 开源 LSA 稀疏注意力：10M token prefill 提速最高 72.4 倍 — jcrwhittington · 2026-11-03
- Meta 论文：Routed CL 让 Agent 按任务分池记忆，效果提升且省 65-72% API 成本 — rohanpaul_ai · 2026-11-03
- Meta FAIR 新论文：研究智能体与人类协作效果最佳而非替代人类 — armand_ruiz · 2026-11-03
- 斯坦福实测 50 项 LLM 知名结论：15 个月内多数失效或大幅减弱 — ziv_ravid · 2026-11-03