获取模型

获取方式

Linux CLI 可以直接使用你已经准备好的模型文件，也可以配合组织内部或公开的模型来源。

OmniInfer 本身负责：

• 识别本地模型
• 加载模型
• 管理后端与请求

它并不强制绑定某一个在线模型市场页面。

查看当前 catalog

你可以先通过 CLI 查看当前系统对应的支持模型目录：

./omniinfer model list

如果你想看按 backend 分组的原始视图：

./omniinfer model list --all-backends

常见来源

• 官方或社区 GGUF 发布页
• 组织内部模型目录
• 你本机已有的模型缓存目录

推荐的本地组织方式

建议按模型目录整理，例如：

/data/models/Qwen3-0.6B/
  Qwen3-0.6B-Q4_K_M.gguf

如果是 VLM：

/data/models/Qwen2.5-VL-3B/
  Qwen2.5-VL-3B-Instruct-Q4_K_M.gguf
  mmproj-F32.gguf