开发者文档

架构总览

OmniStudio Linux 形态可以理解为三层:

  1. CLI 层:用户交互入口
  2. Gateway 层:统一状态、模型与 backend 生命周期
  3. Runtime 层:具体推理 backend

典型调用链

./omniinfer
  -> 本地 Gateway
    -> RuntimeManager
      -> llama.cpp 等 backend

为什么这样分层

  • CLI 保持稳定的人机界面
  • Gateway 统一本地 HTTP API 与后端管理
  • Runtime 层可以按平台和 backend 演化

Linux 当前落地重点

Linux 当前已经稳定落地的主路径,仍然是围绕 llama.cpp 系列 backend 展开。

OmniMind

万象智维

Omni Studio 公众号二维码

公众号

Omni Studio 小红书二维码

小红书

© 2025 万象智维科技有限公司. All rights reserved.

京ICP备2025136340号-1