meloform 技术拆解:可微分电路学 1022 个正弦系数复现人声
henloitsjoyce · x · 2026-10-16
作者拆解其 meloform 项目的实现原理:
- 前端处理:Rust 编译为 WASM,检测演唱音高并分析谐波;从录音中取 16 个约四个声带周期长度的短片段,对齐并重采样到每个 1,024 个采样点。
- 可微分电路(handwired):每个片段分配一个可微分电路,从零开始学习 1,022 个带符号的正弦/余弦系数,同时刻画频率成分的强度与相位,从而捕捉元音形状及部分沙哑噪声纹理。
- 训练方式:用 FFT 得到目标系数,handwired 计算平方误差损失并经电路反向传播,梯度下降更新系数。
- 关键性质:由 Parseval 恒等式,匹配这些系数等价于匹配波形 MSE(除直流与奈奎斯特分量),所以优化系数即在优化波形本身。
「多模态」频道最新
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- vLLM 官宣支持 Muse Spark Open：多模态、1M 上下文 — vllm_project · 2026-10-16
- InfoVis 发布:9B 统一模型做 PPT 幻灯片生成与编辑,1300 万数据训练 — Jiahao Wang · 2026-10-16
- RepForcing 用特征空间监督蒸馏视频生成,少步生成质量超越因果 ODE 基线 — zju · 2026-10-16
- SCOPE:按语义片段分配 RL 信用,让提示词改写提升文生图质量 — university-of-rochester · 2026-10-16
- NUS 等发布 Orbia 基准:系统检验视频世界模型的 3D 一致性 — tencent · 2026-10-16