ARPL 让 llama.cpp 按 ARM 指令集和核心拓扑运行时自适配
OpeningTough145 · reddit · 2026-08-04
ARPL 是一个给 llama.cpp 做 ARM 端侧自适应配置的项目，不再假设所有手机/芯片都用同一套参数，而是在运行时读取真实硬件能力。
运行时识别内容
- 支持检测 ISA 扩展，例如 SDOT、I8MM、SME2。
- 识别 CPU 核心簇和拓扑。
- 然后自动调整线程数和上下文参数。
仓库内容
- 一个 Android 参考应用，用 Kotlin/Compose 通过 JNI 接 llama.cpp。
- 基于 HWCAP 的运行时 ISA 检测。
- 基于拓扑的线程数建议。
- 会按硬件支持情况 patch flash attention 和 KV cache 量化参数。
状态
- 已在 Samsung S25 Ultra 上构建并测试。
- 目前还不包括异构 CPU/GPU/NPU 分区。
- 该版本采用 非商业 许可。
所属事件:ARPL 项目实现 llama.cpp 在 ARM 设备运行时自适应优化(2 条相关)→
「具身」频道最新
- NVIDIA 14B DreamZero 仿真 30 试全过，却拿罐子到杯子失败 — wandb · 2026-08-04
- 概念图设想全自动驾驶面包车，车内还能折叠睡床 — LukeW · 2026-08-04
- 多模态空间智能与 Physical AI 被称作下一波前沿 — richdotca · 2026-08-04
- 作者称纯 VLA 未必需要强长程规划，VLM 已能补位 — m_wulfmeier · 2026-08-04
- Agility Robotics 早期 Digit 研究版助推中国人形机器人 — chris_j_paxton · 2026-08-04
- Vision Pro 上的《马里奥 64》演示把屏幕变成了入口 — pvncher · 2026-08-04