更新LLAMA.CPP后优化命令对比

一把老骨头 发布于 阅读:98 经验技巧

原命令:./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.7 --mlock --no-warmup --prio 3 --cache-ram 0 --top-p 0.8 --top-k 20 --presence-penalty 1.0

优化命令:
./build/bin/llama-server \

-m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf \
--port 8000 --host 0.0.0.0 \
-t 12 --threads-batch 12 \
--n-gpu-layers 99 \
-c 102400 --batch-size 1024 --ubatch-size 512 \
--flash-attn on --cont-batching \
--spec-type draft-mtp --spec-draft-n-max 3 --spec-draft-p-min 0.7 \
--cache-type-k q4_0 --cache-type-v q4_0 \
--cache-ram 8192 \
--parallel 1 --temp 0.7 --top-p 0.8 --top-k 20 --presence-penalty 1.0

(去告警)最终命令:./build/bin/llama-server \
-m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf \
--port 8000 --host 0.0.0.0 \
-t 12 --threads-batch 12 \
--n-gpu-layers 99 \
-c 102400 --batch-size 1024 --ubatch-size 512 \
--flash-attn on --cont-batching \
--spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 \
--cache-type-k q4_0 --cache-type-v q4_0 \
--cache-ram 8192 \
--parallel 1 --temp 0.7 --top-p 0.8 --top-k 20 --presence-penalty 1.0