用确定性NLP管道替代重复LLM调用:程序合成新思路
Ok_Philosophy_4031 · reddit · 2026-08-07
研究团队提出了一种优化方案:将重复的 LLM 工作负载自动转化为由正则、传统 ML 和 NLP 算子组成的确定性有向无环图(DAG),以降低成本和延迟。
核心机制:
- 任务原子化:定义了包含 41 种原子任务的分类法(如分类、实体链接、结构化提取等)。
- 自动合成:将重复的 LLM 调用聚类,推断输入输出契约,利用原子任务生成候选 DAG 并实例化。
- 兜底策略:引入校准的不确定性门控,分布内的输入走确定性管道,分布外(OOD)的边缘案例再回退给前沿大模型处理。
作者指出,合成的中间图并非恢复出的潜在推理轨迹,而是在有限输入分布上行为等价的假设性程序。团队目前将其视为程序合成与形式化验证问题,并寻求相关领域的专业交流。
「编程与Agent」频道最新
- LangChain 发布开源智能体框架选型指南 — LangChain · 2026-08-07
- Naïve 获 2850 万美元 A 轮融资,打造 AI 智能体商业基础设施 — Scobleizer · 2026-08-07
- AI 编程实操:做好规划完成 80% 的工作 — EXM7777 · 2026-08-07
- HuggingFace CEO:多智能体公开协作更安全 — ben_burtenshaw · 2026-08-07
- 引入 QA Agent:别让编程 Agent 自己批改作业 — sergeykarayev · 2026-08-07
- 把编码智能体当AI研究:不读代码的黑盒实验 — peterjliu · 2026-08-07