模型类型
当前重点支持的模型形态
在 Linux CLI 主路径下,OmniStudio 当前主要围绕本地 llama.cpp 兼容模型工作。
文档上最重要的两类是:
- LLM:纯文本模型
- VLM:图文多模态模型
llama.cpp-* 的模型输入规则
对 llama.cpp-* backend:
- 可以传单个
.gguf文件 - 也可以传一个模型目录
如果传目录,OmniInfer 会尝试自动发现:
- 唯一的主模型 GGUF
- 可选的
mmprojGGUF
Linux CLI 的推荐习惯
跨 backend 更稳定的习惯是:
- 把同一模型相关文件放在一个目录里
- 通过目录路径执行
model load
这样可以减少手动拼 mmproj 和主模型路径的成本。



