./build/bin/llama-server \
-m /data/models/unsloth-qwen3-vl-30b/Qwen3-VL-30B-A3B-Instruct-Q4_K_M.gguf \
--port 8000 --host 0.0.0.0 \
-t 6 \
--threads-batch 6 \
--n-gpu-layers 81 \
-c 102400 \
--batch-size 1024 \
--ubatch-size 512 \
--flash-attn on \
--cont-batching \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--parallel 1 \
--temp 0.7 \
--top-p 0.8 \
--top-k 20 \
--presence-penalty 1.5 \
--jinja \
--mlock \
--no-warmup \
--prio 3
./build/bin/llama-server \
-m /data/models/unsloth-qwen3-vl-30b/Qwen3-VL-30B-A3B-Instruct-Q4_K_M.gguf \
--mmproj /data/models/unsloth-qwen3-vl-30b/mmproj-F16.gguf \
--port 8000 --host 0.0.0.0 \
-t 6 \
--threads-batch 6 \
--n-gpu-layers 60 \
-c 24576 \
--batch-size 512 \
--ubatch-size 256 \
--flash-attn on \
--cont-batching \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--parallel 1 \
--temp 0.7 \
--top-p 0.8 \
--top-k 20 \
--presence-penalty 1.5 \
--jinja \
--mlock \
--no-warmup \
--prio 3 \
--image-min-tokens 1024