Trafilatura：将杂乱网页清洗为纯净 AI 训练文本
alex_verem · x · 2026-08-19
Trafilatura 是一个开源 Python 工具，能将原始网页 HTML 清洗为仅包含正文和元数据（标题、作者、日期）的纯净文本，支持输出 Markdown、JSON 等格式。它是 FineWeb 和 RefinedWeb 等大规模数据集背后的核心提取器，也被各大实验室用于 RAG 系统预处理。该工具由独立研究者长期维护，独立基准测试显示其提取性能顶尖，且完全免费无需 API Key。
「Infra」频道最新
- OpenWolf: 用 7 个隐藏钩子优化 AI 编码助手的上下文 — tom_doerr · 2026-08-19
- Gatana MCP 网关新增持久化存储，支持全加密 — Gatana_Official · 2026-08-19
- Unsloth 推出 Dynamic v3 量化，Qwen 27B 精度提升 10% — danielhanchen · 2026-08-19
- NVIDIA 推出 NeMo Switchyard：智能体多模型路由方案 — NVIDIA Developer · 2026-08-19
- 10T 参数模型推理达 1000 TPS，AGI 实力差距引猜测 — legit_api · 2026-08-19
- 反驳数据中心抵制叙事：居民愤怒的是本地危害而非 AI 本身 — AndyMasley · 2026-08-19