开发者文档

后端选择建议

通用优先级

如果没有特殊硬件需求,通常先从:

  • llama.cpp-linux

开始。

何时考虑切换

  • 有 AMD GPU 且 ROCm 环境成熟:考虑 llama.cpp-linux-rocm
  • 有 Vulkan 运行环境:考虑 llama.cpp-linux-vulkan
  • Intel OpenVINO 场景:考虑 llama.cpp-linux-openvino
  • s390x 主机:使用 llama.cpp-linux-s390x

模型选择建议

  • 轻量问答:先用小模型 + Q4_K_M
  • 日常对话:中小模型 + 合理 ctx-size
  • 多模态:确认 backend 与 mmproj 支持链路
OmniMind

万象智维

Omni Studio 公众号二维码

公众号

Omni Studio 小红书二维码

小红书

© 2025 万象智维科技有限公司. All rights reserved.

京ICP备2025136340号-1