MCP 返回 Parquet 句柄替代原始数据行,8k 行数据从 320 万 token 压到 1700
Daniel_Aperiodic · reddit · 2026-11-17
Aperiodic 创始人分享其 MCP 服务处理大数据集的实战方案:单只标的一个月 5 分钟级数据有 8000+ 行、35+ 列,转成 JSON 约 320 万 token,任何模型上下文都装不下。
他们的做法是让工具只返回轻量「句柄」:getdata 不返回数据本身,而是给出签名的 Parquet 下载链接(1 小时有效)、schema、行数、每列 min/max/null 统计(读自 Parquet footer)、5 行样例和一段 polars 加载代码,整个句柄约 1700 token。由 agent 写代码下载文件,模型从不直接看到数据行。
对于无法运行代码或访问外部 URL 的客户端,提供 summarize 工具在服务端做统计、相关矩阵或降采样到 500 点;search/fetch 则为兼容 ChatGPT connectors 的接口形态。作者坦承 Glama 工具定义评分只给 3.6/5(命名混用了动宾与裸动词),并公开求教:沙箱完全无法访问外部 URL 的客户端该怎么办?
「编程与Agent」频道最新
- OunceMCP 1.0:给 MCP 工具结果上 token 预算,省 58-85% token — gentleGiant96 · 2026-11-17
- 一人开发者复盘:一张自拍生成真人生日视频的 6 条 prompt 实战教训 — pvdyck · 2026-11-17
- AI 生成的代码谁看得懂?乱码截图引程序员共鸣 — gethackteam · 2026-11-17
- Orion 视线预测模型:UX bug 检出率翻倍,computer-use 延迟降 31% — Scobleizer · 2026-11-17
- 预言:编码 Agent 明年可将软件生产力提升 100-1000% — moultano · 2026-11-17
- 阿里发布 Qwen4-Max:1M 上下文新 MoE,RSI-Exam 登顶国产第一 — HuaxiuYaoML · 2026-11-17