产品定位

什么是 OmniStudio

OmniStudio 是围绕 OmniInfer 构建的本地模型使用体验层。

在当前 Linux 形态中，OmniStudio 主要体现为：

• 一个统一的本地 CLI：./omniinfer
• 一个本地 Gateway：统一管理后端和模型生命周期
• 一组 OpenAI 兼容 API：方便现有工具链直接接入

它的目标不是让用户手动拼装多个推理引擎，而是把后端选择、模型加载、请求转发和状态管理收敛到统一入口。

当前 Linux 版本的特点

• 本地私密推理：模型运行与推理请求默认都在本机完成
• 多后端调度：Linux 当前主要围绕 llama.cpp 系列后端工作
• 统一操作入口：命令行完成后端、模型、对话和状态管理
• API 兼容：本地提供 OpenAI 风格的 chat completions 接口
• 可扩展：底层架构保留更多后端演进空间

适用人群

• 想在 Linux 上本地运行 LLM / VLM 的用户
• 想把本地推理接入现有 OpenAI 工具链的开发者
• 需要明确掌控模型文件、运行时和日志位置的运维人员