Qwen3.5 9B 手机端全本地跑通 Agent：推理、写码、生成 PDF 一条龙

fuzhongkai · reddit · 2026-09-05

开发者 fuzhongkai 演示在手机上完全本地运行 Qwen3.5 9B IQ4XS 量化模型，推理由其开源项目 TensorSharp（GGUF 推理运行时）驱动。演示流程：给出提示「获取今日涨幅前 10 的股票」后，本地 Agent 自行推理、生成 Python 代码并在手机上执行、抓取公开股票数据返回结果；再要求「转成 PDF」时，无任何硬编码流程，Agent 自行发现对应 Skill、读取 SKILL.md、写代码执行并生成 PDF 文件，全部在端侧完成。

作者强调隐私优势：提示词、对话历史、本地文件均无需上传云端，仅在任务需要外部公开信息（如股票数据）时才联网。端侧推理带来隐私、离线能力、零 API 成本等好处。他开源了 TensorSharp（github.com/zhongkaifu/TensorSharp），并提问：7B-12B 量化模型是否已足以支撑手机上的自主工作流，还是瓶颈在移动端内存带宽？