主打极致速度：QuixiAI开源跨平台C语言嵌入推理引擎
QuixiAI · x · 2026-07-21
QuixiAI 发布了一款名为 embeddinggemma.c 的跨平台嵌入模型推理引擎。该项目使用纯 C 语言编写，主打极致的推理速度，并支持在任意设备上运行。
核心特性：
- 多硬件加速：针对 CPU、Metal、CUDA、ROCm 和 SYCL 提供了优化内核。
- 模型支持：目前支持 embeddinggemma-300M-qat-q40-GGUF 模型（上下文长度为 2k）。
- 维度灵活：支持 768、512、256、128 维度的 Matryoshka 嵌入。
- 易用性：提供标准的 HTTP API 接口。
所属事件:QuixiAI开源纯C语言跨平台嵌入推理引擎(2 条相关)→
「Infra」频道最新
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27