我的主力模型在三大场景的命令参数

一把老骨头 发布于 阅读:71 经验技巧

写文章专用:(占用21103M,写文章速度30T/S)
./build/bin/llama-server -m /data/models/unsloth-qwen27b/Qwen3.6-27B-Q4_K_M.gguf --mmproj /data/models/unsloth-qwen27b/mmproj-F16.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 999 -c 81920 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.6 --mlock --no-warmup --prio 3 --cache-ram 0 --image-min-tokens 1024

速度快专用:(占用20388M,写文章速度80T/S)
./build/bin/llama-server -m /data/models/other/qwopus3.6-35b-a3b-v1/Qwopus3.6-35B-A3B-v1-IQ4_XS.gguf --mmproj /data/models/other/qwopus3.6-35b-a3b-v1/mmproj-F32.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 999 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.6 --mlock --no-warmup --prio 3 --cache-ram 0 --image-min-tokens 1024

写代码专用:(不带图,占用20007M,写文章速度40T/S)
./build/bin/llama-server -m /data/models/other/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 999 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.5 --cache-type-k q8_0 --cache-type-v q8_0 --parallel 1 --temp 0.2 --top-p 0.9 --mlock --no-warmup --prio 3 --cache-ram 0