开发者文档

模型类型

当前重点支持的模型形态

在 Linux CLI 主路径下,OmniStudio 当前主要围绕本地 llama.cpp 兼容模型工作。

文档上最重要的两类是:

  • LLM:纯文本模型
  • VLM:图文多模态模型

llama.cpp-* 的模型输入规则

llama.cpp-* backend:

  • 可以传单个 .gguf 文件
  • 也可以传一个模型目录

如果传目录,OmniInfer 会尝试自动发现:

  • 唯一的主模型 GGUF
  • 可选的 mmproj GGUF

Linux CLI 的推荐习惯

跨 backend 更稳定的习惯是:

  • 把同一模型相关文件放在一个目录里
  • 通过目录路径执行 model load

这样可以减少手动拼 mmproj 和主模型路径的成本。

OmniMind

万象智维

Omni Studio 公众号二维码

公众号

Omni Studio 小红书二维码

小红书

© 2025 万象智维科技有限公司. All rights reserved.

京ICP备2025136340号-1