Flama 框架发布 83 页论文:一个模型文件同时兼容四种 LLM 协议

p3rdy · reddit · 2026-10-13

作者详解其维护 8 年的 Python 框架 Flama,并发布 83 页 arXiv 论文(2608.18733)阐述架构。核心设计:

模型即文件:scikit-learn、PyTorch 模型与 LLM 都打包为单个 .flm 文件,内含权重、tokenizer 等推理工件与训练指标元数据;元数据放在权重前,flama model inspect 无需加载即可读取,CI 可据此卡发布门槛。
一份模型四种协议:同一模型同时暴露 OpenAI、Anthropic、Ollama 兼容路由及流式聊天 UI,推理后端可在 vLLM(Linux/CUDA)与 MLX(Apple Silicon)间切换。
三层解耦:dialect、canonical transport、backend 独立,保证各协议下 tool call 与 token 用量统计正确。
框架还包括类型提示驱动的依赖注入、Pydantic/Marshmallow schema 与 OpenAPI 文档、SQLAlchemy CRUD 生成、DDD 构件、JWT 认证、MCP server 能力、版本迁移 codemod,以及 Rust 加速核心(路由/序列化/压缩等)。

「编程与Agent」频道最新