开发者文档

加载模型

最常用的加载方式

./omniinfer model load -m /path/to/model-directory

或者:

./omniinfer model load -m /path/to/model.gguf

指定上下文长度

./omniinfer model load -m /path/to/model.gguf --ctx-size 4096

使用 backend 配置文件

先选 backend:

./omniinfer select llama.cpp-linux

再用该 backend 的 profile:

./omniinfer model load -m /path/to/model-directory --config

这适合把 backend-native 启动参数收敛到 profile 中,而不是每次都手敲。

直接透传 backend-native 参数

./omniinfer model load -m /path/to/model.gguf -ngl 99 -t 8

CLI 会根据当前 backend 家族解析这些额外参数。

OmniMind

万象智维

Omni Studio 公众号二维码

公众号

Omni Studio 小红书二维码

小红书

© 2025 万象智维科技有限公司. All rights reserved.

京ICP备2025136340号-1