注:256K肯定OOM,100K没问题,内存占用81,上下文还能上升一点,没时间 试了
./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.7 --no-warmup --prio 3 --cache-ram 0 --top-p 0.8 --top-k 20 --presence-penalty 1.0 --no-reasoning-preserve