架构总览
OmniStudio Linux 形态可以理解为三层:
- CLI 层:用户交互入口
- Gateway 层:统一状态、模型与 backend 生命周期
- Runtime 层:具体推理 backend
典型调用链
./omniinfer
-> 本地 Gateway
-> RuntimeManager
-> llama.cpp 等 backend
为什么这样分层
- CLI 保持稳定的人机界面
- Gateway 统一本地 HTTP API 与后端管理
- Runtime 层可以按平台和 backend 演化
Linux 当前落地重点
Linux 当前已经稳定落地的主路径,仍然是围绕 llama.cpp 系列 backend 展开。



