RTX 5090 夜间自动生成股市简报,数字门禁杜绝 LLM 编造数据
JakeChj · reddit · 2026-09-03
一位开发者分享了本地运行的每日股市简报流水线，核心是“数字门禁”设计：
- 流程：市场数据入 SQLite → 确定性代码计算所有表格与数字 → 本地 vLLM（Qwen 27B AWQ）只负责写两段文字摘要
- 防幻觉门禁：摘要中每个数字 token 必须能在输入 JSON 中找到，否则摘要被拒绝（重试一次，仍失败则不带摘要发布）——保证编造的数字永远不会上线
- 踩坑：韩文+JSON 输入时，thinking 模式会静默吃光整个 maxtokens 预算导致输出为空，chattemplatekwargs: {enablethinking: false} 才能修复，reasoningeffort 参数无效
作者公开了实际输出示例，并表示愿意分享 prompt 和门禁设计细节。
「Infra」频道最新
- FastVideo-FastH3 上架 MLX 页面，Mac 本地推理提速工具未发先热 — Structure-These · 2026-09-03
- AI 硬件需求拉动,韩国 8 月出口同比大增近 69% — VraserX · 2026-09-03
- Counterpoint:长鑫存储 Q2 DRAM 市占率达 10% — zephyr_z9 · 2026-09-03
- 开源 RL 框架 Miles 发布：面向企业级 LLM/VLM 后训练 — AravSrinivas · 2026-09-03
- 跑模型其实是跑内核:推理性能差距藏在 fused kernel 里 — EAccelerate_42 · 2026-09-03
- KAIST 提出 Declarative Attention，让模型自选跳读 KV 缓存 — kaist-ai · 2026-09-03