常见问题排查

标准排查顺序

1. ./omniinfer status
2. curl http://127.0.0.1:9000/health
3. 查看 ~/.cache/omniinfer/gateway.log
4. 查看 runtime 日志目录
5. 检查模型路径和 backend 选择

backend list 里显示 runtime 不可用

优先检查：

• 对应 backend 是否已构建
• launcher 是否在预期目录
• 动态库是否齐全

model load 失败

常见原因：

• 模型路径不存在
• 目录中有多个主模型 GGUF
• mmproj 路径错误
• 当前 backend 不支持该模型形态

chat 报无模型

先执行：

./omniinfer model load -m /path/to/model

或者在 chat 请求里直接带 -m/--model。

API 请求失败

优先确认：

• Gateway 是否已启动
• 当前 backend 是否 ready
• 请求体是否缺少 messages
• 你是否误用了当前不维护的 GET /v1/models