开源工具 inside-llm:逐 token 可视化对比两种量化模型差异
AlternativeEnough352 · reddit · 2026-11-16
开发者发布开源项目 inside-llm,基于 llama.cpp 加载一个或两个 GGUF 模型,在浏览器里实时展示模型生成文本时的内部状态,并能逐 token 对比同一模型的不同量化版本在何处开始分歧。
核心功能
- Stream:双栏并排显示两模型的生成文本,亮度表示 token 概率,分歧处以洋红色标记;支持 lockstep(同文本逐位对比)和 free(各自生成直到分裂)两种模式。
- Candidates:展示每次选择的完整概率分布、熵、有效选项数、Jensen-Shannon 散度和双向 KL。
- Gates:逐级追踪采样链(penalties、top-k、top-p、min-p、temperature、GBNF 语法),可视化每级存活候选数与分布。
- Timeline/Branching:全文熵与分歧曲线;点击任意候选即可从该处续写,分支树保留 KV 状态快照,回跳精确无重复计算。
- Logit lens:以 2D 图和 3D 浮雕展示每层预测。
- 模型选择:可搜索 Hugging Face 一键下载同一仓库的两个量化版,自动校验 tokenizer 一致并估算 VRAM 是否放得下。
实现:C++17 单进程直连 llama.cpp,读完整 logits 计算指标,经 WebSocket 以紧凑二进制帧传给 Svelte 5 + Canvas 前端;会话可录制回放。提供 Linux/Windows 包,支持 CUDA 与 Vulkan(兼容 AMD/Intel Arc),本地运行无遥测,MIT 协议。
限制:两模型须同 tokenizer、需同时装入显存、仅支持文本。
「模型」频道最新
- Anthropic 收紧支持地区政策，堵死受限地区实体与人员使用通道 — J_MaestreVidal · 2026-11-16
- Wispr 自研语音模型 Canto 1：词错率 3.4%，编辑率降 54% — rohanpaul_ai · 2026-11-16
- 实测称 Gemini 4 跑分亮眼但编程实际仅列第三，落后 Claude 与 GPT-6 — HarrySurden · 2026-11-16
- 分析称 OpenAI 或把稀缺算力优先给研究，而非发布 GPT-6.2 中间版本 — kimmonismus · 2026-11-16
- AI 网红预告：11 月将是开源模型的好月份 — mervenoyann · 2026-11-16
- repligate：Fable 5 思考分类器即触发中断，规避机制引担忧 — repligate · 2026-11-16