加载模型
最常用的加载方式
./omniinfer model load -m /path/to/model-directory
或者:
./omniinfer model load -m /path/to/model.gguf
指定上下文长度
./omniinfer model load -m /path/to/model.gguf --ctx-size 4096
使用 backend 配置文件
先选 backend:
./omniinfer select llama.cpp-linux
再用该 backend 的 profile:
./omniinfer model load -m /path/to/model-directory --config
这适合把 backend-native 启动参数收敛到 profile 中,而不是每次都手敲。
直接透传 backend-native 参数
./omniinfer model load -m /path/to/model.gguf -ngl 99 -t 8
CLI 会根据当前 backend 家族解析这些额外参数。



