模型与量化选择
应该选什么模型？
| 场景 | 推荐模型规模 | 推荐量化 |
|---|---|---|
| 快速问答、轻量任务 | 1B - 3B | Q4_K_M |
| 日常对话、代码辅助 | 7B - 8B | Q4_K_M / Q5_K_M |
| 高质量文本生成 | 13B - 14B | Q4_K_M |
| 图文理解 | VLM 系列 | Q4_K_M |
为什么有些量化版本不可用？
常见原因包括：
- 模型作者没有发布该量化版本
- 模型架构较新，量化工具尚未完全支持
- 高精度文件过大，托管平台未提供下载
如果确实需要某个量化版本，可以考虑使用 llama.cpp 提供的量化工具自行转换。
为什么运行时会显示不兼容？
常见原因包括：
- 系统架构不匹配，例如 ARM 设备使用了
x86_64构建版本 - 操作系统版本过低
- Windows 下使用了不合适的编译工具链
- 缺少必要运行时依赖
推荐优先使用项目提供的预编译包，或使用官方脚本重新构建与当前平台匹配的运行时。
