yblgt@yblgt-ThinkP710:~/hll$ /home/yblgt/hll/build/bin/llama-server \

-m /data/models/bonsai-27b/Ternary-Bonsai-2-27B-PQ2_0.gguf \
--port 8000 --host 0.0.0.0 \
-t 12 --threads-batch 12 \
--n-gpu-layers 99 \
-c 262144 \
--batch-size 1024 --ubatch-size 512 \
--flash-attn on --cont-batching \
--cache-type-k q8_0 --cache-type-v q8_0 \
--parallel 1 \
--temp 1.0 --top-p 0.95 --top-k 20 \
--min-p 0.0 --presence-penalty 0.0 --repeat-penalty 1.0 \
--load-mode mlock --no-warmup \
--cache-ram 0 \
--reasoning-preserve

安装LLAMA.CPP的分支FORK
编译 fork（若已编译可跳过）
cd /home/yblgt
git clone https://github.com/PrismML-Eng/llama.cpp hll
cd /home/yblgt/hll
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=75
cmake --build build -j$(nproc)

2. 单次验证

/home/yblgt/hll/build/bin/llama-cli \
-m /data/models/bonsai-27b/Ternary-Bonsai-2-27B-PQ2_0.gguf \
-ngl 99 -fa on -c 8192 \
--temp 1.0 --top-p 0.95 --top-k 20 \
-p "你好" -n 64