用 LoRA 做长对话状态提取
Small-Inevitable6185 · reddit · 2026-07-12
作者在做一个面向**长对话连续性**的 LoRA 项目，目标不是把整段对话做摘要，而是让模型从每个分块里提取结构化的“conversation state”，再把这些状态合并成后续生成所需的上下文。 当前流程大致是： - 长对话切成固定窗口 - 为每个窗口标注语义状态 - 用 LoRA 微调一个小模型 - 合并各窗口输出，形成可继续对话的状态表示 - 再生成 continuation prompt 他用了真实工程对话数据，包括 GitHub Issues、GitHub Discussions、Reddit 工程讨论和长篇 AI 开发对话，并整理出了若干常见簇：上下文/记忆管理、状态持久化、可靠性、provider 兼容性、agent 编排、长时间调试、架构讨论等。 作者目前在犹豫：继续投入数据集、覆盖面和标注评估，还是干脆放弃微调，改用更强的基座模型加提示词方案。