原命令:
yblgt@yblgt-ThinkP710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-typ
e draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.6 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.7 --mlock --no-warmup --prio 3 --cache-ram 0
优化命令:
yblgt@yblgt-ThinkP710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-typ
e draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.7 --mlock --no-warmup --prio 3 --cache-ram 0 --top-p 0.8 --top-k 20 --presence-penalty 1.0
方案二Thinking模式:
yblgt@yblgt-ThinkP710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-typ
e draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 1.0 --mlock --no-warmup --prio 3 --cache-ram 0 --top-p 0.95 --top-k 20 --presence-penalty 0.0