LLAMA.CPP升级到0.7的命令参数(免思考)

一把老骨头 发布于 阅读:205 经验技巧

yblgt@yblgt-ThinkStation-P710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-UD-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 999 -c 204800 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.6 --no-warmup --cache-ram 0 --no-reasoning-preserve --reasoning-budget 0