llama-server.exe ^
--model "emma-4-12B-it-qat-q4_0-unquantized-heretic-Q4_0.gguf" ^
--mmproj "mmproj-gemma-4-12b-it-qat-q4_0.gguf" ^
--model-draft "gemma-4-12b-qat-it-assistant-Q4_0_Q4emb.gguf" ^
--spec-type draft-mtp --spec-draft-n-max 3 ^
--spec-draft-type-k q4_0 --spec-draft-type-v q4_0 ^
--n-gpu-layers-draft 999 ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--n-gpu-layers 999 ^
--no-mmap ^
--cache-prompt ^
--mlock ^
--kv-unified ^
--parallel 1 ^
-fa on ^
--fit off ^
--ctx-size 100000 --n-predict 10000 ^
--host 0.0.0.0 --port 11432
来源: V2EX - 技术查看原文