针对IQUIZ评测的模型运行参数和测试命令参数

./build/bin/llama-server \
-m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-UD-Q4_K_M.gguf \
--port 8000 --host 0.0.0.0 \
-t 12 --threads-batch 12 \
--n-gpu-layers 999 \
-c 20000 --batch-size 512 --ubatch-size 256 \
--flash-attn on --cont-batching \
--cache-type-k q4_0 --cache-type-v q4_0 \
--parallel 2 \
--temp 0.7 --no-warmup --prio 3 --cache-ram 0 \
--no-reasoning-preserve

测试参数
evalscope eval \
--model "/data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-UD-Q4_K_M.gguf" \
--api-url http://100.108.44.45:8000/v1 \
--api-key EMPTY \
--eval-type openai_api \
--datasets iquiz \
--generation-config '{"max_tokens": 4096, "timeout": 600}'

既然服务就在本机，直接用 127.0.0.1:8000 最稳，不要再走 Tailscale 的 100.108.44.45