开发者文档

基础对话

最简单的文本对话

./omniinfer chat --message "Introduce yourself in one sentence."

这会使用当前已加载模型。

如果当前没有模型,你可以:

  • 先运行 model load
  • 或在当前请求里直接带上 -m/--model

例如:

./omniinfer chat -m /path/to/model.gguf --message "Hello"

非流式输出

./omniinfer chat --no-stream --message "Summarize OmniStudio."

非流式模式会在请求完成后输出:

  • 最终回答
  • token 用量
  • 推理耗时

图文对话

./omniinfer chat \
  --image /path/to/image.png \
  --message "Describe this image."

前提是当前模型和 backend 支持多模态。

OmniMind

万象智维

Omni Studio 公众号二维码

公众号

Omni Studio 小红书二维码

小红书

© 2025 万象智维科技有限公司. All rights reserved.

京ICP备2025136340号-1