最新投入使用的模型调用命令(2026-9-23)

一把老骨头 发布于 阅读:221 经验技巧

./build/bin/llama-server \
-m /data/models/is-qwen3.8-35b/Qwen3.8-35B-A3B-Distill.APEX-I-MiniPlus-V2.1-Abliterated.gguf \
--port 8000 --host 0.0.0.0 \
-t 12 --threads-batch 12 \
--n-gpu-layers 99 \
-c 204800 \
--batch-size 1024 --ubatch-size 512 \
--flash-attn on --cont-batching \
--cache-type-k q4_0 --cache-type-v q4_0 \
--parallel 1 \
--temp 0.2 \
--no-warmup \
--cache-ram 0 \
--top-p 0.8 --top-k 20 --presence-penalty 1.0 \
--reasoning-preserve