选择与切换

选择 backend

./omniinfer select llama.cpp-linux

这个选择会被持久化，后续 model load 和 chat 默认会使用它。

自动选择

如果你不想完全绑定当前已选 backend，也可以在加载或对话时使用：

./omniinfer model load -m /path/to/model --auto
./omniinfer chat -m /path/to/model --message "Hello" --auto

--auto 会让 OmniInfer 根据当前模型和 catalog 信息自动挑选更合适的 backend。

切换时会发生什么

• 如果切换到不同 backend，当前已加载 runtime 可能被停止
• 如果模型和参数组合没有变化，OmniInfer 会尽量复用已加载 runtime
• 如果你更改了关键启动参数，例如 ctx-size 或 backend 启动参数，runtime 可能被重启

停止当前 backend

./omniinfer backend stop

这个命令只停止当前 runtime，不会删除你的选择状态或模型文件。