friend.cpp:实验性本地LLM引擎集成蓝噪声采样
amplifiedamp · x · 2026-09-23
开发者在 koboldcpp 基础上推出实验性本地 LLM 推理引擎 friend.cpp,特性包括自适应投机解码(speculative decoding)、分层 prompt 缓存、逐请求 adapter 热切换以及 steering。作者还提出蓝噪声采样思路:在不下调 temperature 的前提下,让容易 mode collapse 的模型(包括 base 模型)生成稳定、连贯的续写。llama.cpp 的一个 fork 已可试用。
所属事件:蓝噪声采样可缓解大模型 mode collapse(2 条相关)→
「Infra」频道最新
- 高通数据中心HBC高带宽计算技术将下放到手机、笔记本与智能眼镜 — ryanshrout · 2026-09-23
- NVIDIA 推机密计算方案:让企业在敏感数据上部署 AI — nvidia · 2026-09-23
- AI 造芯片、芯片训 AI:闭环飞轮卡在电网与建厂速度 — r0ck3t23 · 2026-09-23
- 开发者吐槽:Agent 架构被 KV cache 绑架,盼推理专用芯片 — dbreunig · 2026-09-23
- GE Vernova 燃气轮机积压订单提前至 2027 年初达 2000 亿美元 — BenBajarin · 2026-09-23
- 两篇新论文:递归语言模型域外泛化;XMerge 层剪枝深度压缩 — burny_tech · 2026-09-23