这是官方推荐的安装方式。uv 是一个快速的 Python 环境管理器，能自动处理 PyTorch 与 CUDA 版本的匹配问题 。

1. 安装系统依赖和 uv 工具
   bash

更新系统并安装编译工具和 Python 开发头文件

sudo apt update && sudo apt upgrade -y
sudo apt install -y build-essential python3.12 python3.12-venv python3.12-dev git-lfs

安装 uv 工具

curl -LsSf https://astral.sh/uv/install.sh | sh
source $HOME/.cargo/env

注意：python3.12-dev 包提供了编译必需的 Python.h 头文件，缺少它可能导致安装失败 。

2. 创建并进入项目目录
   bash

mkdir -p ~/projects/vllm && cd ~/projects/vllm

3. 创建并激活 Python 虚拟环境
   bash

uv venv myenv --python 3.12 --seed
source myenv/bin/activate

4. 安装 vLLM

在虚拟环境中，使用 uv 安装 vLLM，它会自动检测当前 CUDA 驱动并选择合适的 PyTorch 后端 。
bash

uv pip install vllm --torch-backend=auto

5. 验证安装
   bash

python3 -c "import vllm; print(vllm.version)"

如果成功打印出版本号，说明安装成功

启动服务与运行模型

完成安装后，你可以通过以下两种方式之一启动 vLLM 服务。
离线推理方式（Python 脚本）

创建一个 Python 文件，例如 run.py，用于加载模型并执行推理 。
python

from vllm import LLM, SamplingParams

1. 加载模型，替换为你的模型路径或 Hugging Face 名称

llm = LLM(model="deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B", tensor_parallel_size=1)

2. 设置采样参数

sampling_params = SamplingParams(temperature=0.7, top_p=0.9, max_tokens=512)

3. 执行推理

outputs = llm.generate(["解释量子计算的基本原理"], sampling_params)

4. 打印结果

for output in outputs:
print(output.outputs[0].text)

然后在终端执行：python3 run.py
OpenAI 兼容服务器方式

这是最常用的方式，可以启动一个 HTTP 服务供其他程序调用 。

创建一个启动脚本 start_server.sh：
bash

!/bin/bash

source ~/projects/vllm/myenv/bin/activate
vllm serve <你的模型名称或路径> \
--host 0.0.0.0 \
--port 8000 \
--dtype auto \
--gpu-memory-utilization 0.85 \
--max-model-len 32768 \
--trust-remote-code

赋予执行权限并运行：
bash

chmod +x start_server.sh
./start_server.sh

调整参数：
docker run -d \
--runtime=nvidia --gpus=all \
-v /path/to/your/model:/model \
-p 8000:8000 \
vllm/vllm-openai:v0.8.5 \ # 注意，此处指定了特定版本
--model /model \
--tensor-parallel-size 1 \ # 单卡设为1；如果你有2张就设为2
--quantization awq \ # 根据你下载的模型量化类型调整
--dtype auto \
--max-model-len 16384 \ # 可适当降低以防显存溢出
--gpu-memory-utilization 0.9 \
--swap-space 32 # 设置swap空间，防止KV Cache溢出

最稳妥的方式是使用 Ubuntu 的官方源来安装驱动，它能自动处理依赖关系，避免冲突。

更新系统并安装驱动工具
bash

sudo apt update
sudo apt upgrade -y
sudo apt install -y ubuntu-drivers-common build-essential

自动安装推荐驱动（最简单）
这条命令会自动检测你的显卡并安装最合适的驱动版本。
bash

sudo ubuntu-drivers autoinstall

安装完成后，务必重启系统：
bash

sudo reboot

验证驱动安装
重启后，运行 nvidia-smi，你应该能看到 GPU 信息、驱动版本和最高支持的 CUDA 版本。例如，输出可能会显示 CUDA Version: 12.4。

安装 CUDA 工具包
为了让 llama.cpp 在编译时能用到 CUDA，需要安装开发工具包。通过 NVIDIA 官方网络源安装是最简单的方式。
bash

# 下载并安装 CUDA 密钥环
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb

# 更新源并安装 CUDA 工具包
sudo apt update
sudo apt install -y cuda-toolkit

配置环境变量
将 CUDA 添加到 PATH，方便后续使用。
bash

echo 'export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}' >> ~/.bashrc
source ~/.bashrc

最后，运行 nvcc --version 验证 CUDA 编译器是否安装成功。

2. 安装与编译 llama.cpp

llama.cpp 支持从源码编译，这样能确保你的机器获得最优性能。

安装编译依赖
bash

sudo apt install -y cmake git

克隆源码
bash

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

创建构建目录并编译
使用 CMake 进行编译。关键在于通过 -DGGML_CUDA=ON 开启 CUDA 支持。-j 参数可以加快编译速度。
bash

mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON
cmake --build . --config Release -j $(nproc)

编译完成后，可执行文件（如 llama-server, llama-cli）就在 build/bin/ 目录下

3 个模型 hf 下载命令（直接复制运行）
全部自动存到 /data/models 里

1. Qwen3.5-27B 4-bit
   hf download Qwen/Qwen3.5-27B-Instruct-GGUF qwen3.5-27b-instruct-q4_0.gguf --local-dir /data/models

hf download hf-mirror.com/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_XS.gguf
正在下载
hf download HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive --local-dir ./Qwen3.6-35B-A3B-Uncensored Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_XS.gguf

hf download unsloth/Qwen3.6-35B-A3B-MTP-GGUF \
--local-dir ./Qwen3.6-35B-A3B-MTP \
--include "IQ4_XS.gguf"

hf download bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF \
--local-dir ./DeepSeek-R1-Distill \
--include "IQ4_XS.gguf"

hf download google/gemma-4-31B-it-qat-q4_0-gguf \
--local-dir ./gemma-4-31b \
--include "*.gguf"

hf download Jackrong/Qwopus3.6-27B-Coder-GGUF \
--include "Q4_K_M.gguf" \
--local-dir ./qwopus-27b-coder

hf download Jackrong/Qwopus3.6-35B-A3B-V1-GGUF \
--include "IQ4_XS.gguf" "mmp.gguf" \
--local-dir ./qwopus-35b-v1

hf download Mia-AiLab/Qwable-3.6-27b \
--include "*.gguf" \
--local-dir ./qwable-27b

hf download unsloth/Qwen3.6-27B-MTP-GGUF \
--include "IQ4_XS.gguf" \
--local-dir ./unsloth-qwen27b

hf download unsloth/Llama-3.3-70B-Instruct-GGUF \

--include "IQ4_XS.gguf" \
--local-dir ./llama70b

hf download Jackrong/Qwopus3.6-35B-A3B-v1-MTP-GGUF \
--include "IQ4_XS.gguf" \
--local-dir ./qwopus-35b-v1-mtp

hf download Anbeeld/Qwen3.6-27B-DFlash-GGUF \
--include "Q4_K_M.gguf" \
--local-dir ./unsloth-qwen27b

hf download unsloth/Qwen3.6-27B-GGUF \
--include "mm.gguf" \
--local-dir ./unsloth-qwen27b

hf download Anbeeld/Qwen3.6-35B-A3B-DFlash-GGUF \
--include "IQ4_XS.gguf" \
--local-dir ./unsloth-qwen3.6-35b-a3b

hf download unsloth/Qwen3.6-35B-A3B-GGUF \
--include "UD-IQ4_XS.gguf" \
--include "mm.gguf" \
--local-dir ./unsloth-qwen3.6-35b-a3b

hf download unsloth/Qwen3-VL-30B-A3B-Instruct-GGUF \
--include "Q4_K_M.gguf" "mmp.gguf" \
--local-dir ./nsloth-qwen3-vl-30b

hf download Brian6145/Qwen3.6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-GGUF \
--include "Q4_K_M.gguf" "mmp.gguf" \
--local-dir ./brian6145-27b

hf download Anbeeld/Qwen3.6-27B-DFlash-GGUF \
--include "Q5_K_M.gguf" "mmp.gguf" \
--local-dir ./anbeeld-dflash-27b

./build/bin/llama-server \
-m /data/models/unsloth-qwen3-vl-30b/Qwen3-VL-30B-A3B-Instruct-Q4_K_M.gguf \
--mmproj /data/models/unsloth-qwen3-vl-30b/mmproj-F16.gguf \
--port 8000 --host 0.0.0.0 \
-t 6 \
--threads-batch 6 \
--n-gpu-layers 60 \
-c 24576 \
--batch-size 512 \
--ubatch-size 256 \
--flash-attn on \
--cont-batching \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--parallel 1 \
--temp 0.7 \
--top-p 0.8 \
--top-k 20 \
--presence-penalty 1.5 \
--jinja \
--mlock \
--no-warmup \
--prio 3 \
--image-min-tokens 1024

sudo apt update
sudo apt install build-essential cmake git

确保已安装 CUDA Toolkit

克隆仓库并编译：

git clone https://github.com/Anbeeld/beellama.cpp.git
cd beellama.cpp

针对 RTX 2080 Ti (Turing 架构, compute capability 7.5) 进行编译

cmake -B build -DGGML_CUDA=ON -DGGML_NATIVE=ON \
-DGGML_CUDA_FA=ON -DGGML_CUDA_FA_ALL_QUANTS=ON \
-DCMAKE_CUDA_ARCHITECTURES=75 \
-DCMAKE_BUILD_TYPE=Release

cmake --build build -j
注意: DCMAKE_CUDA_ARCHITECTURES=75 是为 RTX 2080 Ti 设置的。如果你不确定，可以省略此选项，CMake 会自动检测。

4. 模型准备
   你需要下载三个文件（以 Qwen 3.6 27B 为例）：
   主模型 (Target Model):
   高精度版: Qwen3.6-27B-Q5_K_S.gguf (来自 unsloth/Qwen3.6-27B-GGUF)
   高速/低显存版: Qwen3.6-27B-Q4_K_M.gguf 或 Qwen3.6-27B-IQ4_XS.gguf (来自 cHunter789/Qwen3.6-27B-i1-IQ4_XS-GGUF)
   DFlash 草稿模型 (Draft Model):
   从 Anbeeld/Qwen3.6-27B-DFlash-GGUF 下载，例如 Qwen3.6-27B-DFlash-Q4_K_M.gguf。
   多模态投影器 (可选, mmproj):
   如果需要视觉功能，从 unsloth/Qwen3.6-27B-GGUF 下载 mmproj-BF16.gguf。
   将这些文件放在一个易于访问的目录中，例如 ~/models/。
5. 启动服务器（针对 22GB 显存优化）
   考虑到你的 RTX 2080 Ti 有 22GB 显存（略少于官方推荐的 24GB），我们采用高速/低显存组合，并进行适当调整以确保稳定运行。
   5.1 基础启动命令（无视觉）

./build/bin/llama-server \
-m "~/models/Qwen3.6-27B-Q4_K_M.gguf" \
--spec-draft-model "~/models/Qwen3.6-27B-DFlash-Q4_K_M.gguf" \
--spec-type dflash \
--spec-dflash-cross-ctx 512 \
--port 8080 \
-np 1 \
--kv-unified \
-ngl all \
--spec-draft-ngl all \
-b 2048 -ub 512 \
--ctx-size 65536 \ # 将上下文减少到 64K 以适应 22G 显存
--cache-type-k turbo3_tcq \
--cache-type-v turbo3_tcq \ # 使用 TCQ 压缩进一步节省显存
--flash-attn on \
--no-mmap --mlock \
--temp 0.6 --top-k 20 --top-p 1.0 --min-p 0.0
5.2 启动命令（带视觉）
bash

./build/bin/llama-server \
-m "~/models/Qwen3.6-27B-Q4_K_M.gguf" \
--mmproj "~/models/mmproj-BF16.gguf" \
--no-mmproj-offload \ # 将 mmproj 卸载到 CPU 以节省 GPU 显存
--spec-draft-model "~/models/Qwen3.6-27B-DFlash-Q4_K_M.gguf" \
--spec-type dflash \
--spec-dflash-cross-ctx 512 \
--port 8080 \
-np 1 \
--kv-unified \
-ngl all \
--spec-draft-ngl all \
-b 2048 -ub 512 \
--ctx-size 65536 \
--cache-type-k turbo3_tcq \
--cache-type-v turbo3_tcq \
--flash-attn on \
--no-mmap --mlock \
--temp 0.6 --top-k 20 --top-p 1.0 --min-p 0.0

5.3 关键参数解释
-m: 主模型路径。
--spec-*: DFlash 相关配置，启用推测解码。
--ctx-size 65536: 重要！将上下文长度从默认的 100K+ 降低到 64K，这是为了适配 22GB 显存。
--cache-type-k/v turbo3_tcq: 重要！使用 TCQ 压缩技术大幅减小 KV 缓存占用。turbo3_tcq 在显存和精度之间取得了较好的平衡。
--spec-dflash-cross-ctx 512: 减少草稿模型能看到的上下文，进一步节省显存。
--no-mmproj-offload: 对于独立显卡，将视觉模块卸载到 CPU 可以释放宝贵的 GPU 显存。
-ngl all: 将所有模型层加载到 GPU 上。

6. 故障排除
   显存不足 (Out of VRAM):
   进一步降低 --ctx-size (例如 32768)。
   尝试使用 turbo2_tcq 作为缓存类型（但会损失更多精度）。
   将主模型换成 IQ4_XS 版本。
   DFlash 未生效:
   检查日志中是否有 dflash: 或 speculative 相关信息。
   确认草稿模型是专门为 DFlash 准备的，而不是普通的 Qwen 模型。
   TCQ 缓存类型报错:
   确保你使用的是 CUDA 后端编译的版本。TCQ (turbo*_tcq) 仅支持 CUDA。
   通过以上配置，你应该能够在你的 RTX 2080 Ti 22GB + Ubuntu 系统上成功运行 BeeLlama.cpp，并利用 DFlash 和 TCQ 技术获得高效的推理体验。

首先，进入 llama.cpp 项目目录，拉取最新的代码。然后，根据官方推荐，清理旧版的 Web UI 构建文件，并确保 Node.js 环境是最新的，这是为了构建内置 Web UI 所必需的。

cd ~/llama.cpp
git pull origin master # 拉取最新代码

清理旧 Web UI 构建文件

rm -rf tools/ui/dist

清理旧编译文件，保证全新编译

rm -rf build

安装或更新 Node.js 和 npm (用于构建 UI 资源)

这里使用了 NodeSource 的脚本安装 Node.js 20.x 版本

curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -
sudo apt install -y nodejs

重新编译

mkdir build && cd build
cmake .. \
-DCMAKE_BUILD_TYPE=Release \
-DGGML_CUDA=ON \
-DLLAMA_CURL=ON \
-DLLAMA_SERVER=ON
make -j$(nproc)

参数：
-DGGML_CUDA=ON 启用 NVIDIA CUDA GPU 加速
-DGGML_CUDA_F16=ON 启用 FP16 计算（可选，提升性能）
-DLLAMA_CURL=ON 启用 HTTP/HTTPS 网络支持（Web UI 需要）
-DLLAMA_SERVER=ON 编译 llama-server（Web UI 服务）
-DLLAMA_AVX2=ON 启用 AVX2 指令集优化（Intel CPU）

另一个：
cd ~/llama.cpp
git pull origin master # 拉取最新代码

清理旧 Web UI 构建文件

rm -rf tools/ui/dist

清理旧编译文件，保证全新编译

rm -rf build

安装或更新 Node.js 和 npm (用于构建 UI 资源)

这里使用了 NodeSource 的脚本安装 Node.js 20.x 版本

curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -
sudo apt install -y nodejs

mkdir build && cd build

配置 CMake。你原来的 CUDA、CURL 等选项都保留着

cmake .. \
-DCMAKE_BUILD_TYPE=Release \
-DGGML_CUDA=ON \
-DLLAMA_CURL=ON \
-DLLAMA_SERVER=ON # 这个选项会构建内置 Web UI

开始编译，使用所有 CPU 核心加速

make -j$(nproc)

速度快专用：(占用20388M,写文章速度80T/S)
./build/bin/llama-server -m /data/models/other/qwopus3.6-35b-a3b-v1/Qwopus3.6-35B-A3B-v1-IQ4_XS.gguf --mmproj /data/models/other/qwopus3.6-35b-a3b-v1/mmproj-F32.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 999 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.6 --mlock --no-warmup --prio 3 --cache-ram 0 --image-min-tokens 1024

写代码专用：（不带图,占用20007M,写文章速度40T/S）
./build/bin/llama-server -m /data/models/other/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 999 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.5 --cache-type-k q8_0 --cache-type-v q8_0 --parallel 1 --temp 0.2 --top-p 0.9 --mlock --no-warmup --prio 3 --cache-ram 0

12B:

下载主模型（推荐 Q4_K_M 版本，性能与体积平衡）

hf download bartowski/gemma-4-12B-it-GGUF --local-dir ./gemma-4-12b --include "gemma-4-12B-it-Q4_K_M.gguf"

下载视觉编码器（必须，让模型能看图）

hf download unsloth/gemma-4-12b-it-GGUF --local-dir ./gemma-4-12b --include "mmproj-F16.gguf"

你的固定基础配置

BASE="/home/yblgt/llama.cpp/build/bin/llama-bench \
--model /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf \
-t 6 \
-ngl 81 \
--flash-attn 1 \
-n 256 -p 512 \
-r 3"

测试不同的 batch-size 和 ubatch-size 组合

for batch in 512 1024 1536 1920 2048 4096; do
for ubatch in 256 512 768 1024); do
echo "=== Testing batch=$batch ubatch=$ubatch ==="
$BASE --batch-size $batch --ubatch-size $ubatch
done
done

加入线程
bash

!/bin/bash

基础配置（不再包含 -t）

BASE="/home/yblgt/llama.cpp/build/bin/llama-bench \
--model /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf \
-ngl 81 \
--flash-attn 1 \
-n 256 -p 512 \
-r 3"

测试不同的线程数、batch-size 和 ubatch-size 组合

for t in 6 12; do
for batch in 512 1024 1536 1920 2048 4096; do
for ubatch in 256 512 768 1024); do
echo "=== Testing threads=$t batch=$batch ubatch=$ubatch ==="
$BASE -t $t --batch-size $batch --ubatch-size $ubatch
done
done
done

Find maximum number of model layers that can be written to your VRAM

########################################################################

Testing for: -ngl = 75
Testing for: -ngl = 112
Testing for: -ngl = 131
Testing for: -ngl = 140
Testing for: -ngl = 145
Testing for: -ngl = 147
Testing for: -ngl = 148
Testing for: -ngl = 149
Estimated max ngl = 149

Setting maximum -ngl to 149

Warmup performance history: [27.169813, 27.090305, 27.144696, 26.995448, 27.054011, 27.038189, 27.065603, 27.028237, 27.041289, 27.046516, 27.089866, 27.026862, 27.046862, 26.971674, 27.025514, 27.05764, 27.059785, 27.025481, 27.068116, 27.022433, 26.981009, 27.000351, 26.960303, 27.013747, 26.96748, 26.994402, 26.951979, 26.996994, 27.003112, 26.99966, 26.988973, 27.016048, 26.965876, 27.017555, 27.046099]

First stage: Initial exploration of parameter space

Best config Stage_1: {'batch': 15806, 'u_batch': 7127, 'threads': 24, 'gpu_layers': 95}
Best Stage_1 tg tokens/sec: 27.204362

Second stage: Grid search over categorical parameters

Best config Stage_2: {'flash_attn': 1, 'override_tensor': 'ffn_cpu_updown'}
Best Stage_2 tg tokens/sec: 27.271601

Third stage: Finetune final config

'gpu_layers': 115, 'flash_attn': 1, 'override_tensor': 'ffn_cpu_all'}
Best Stage_3 tg tokens/sec: 27.445436

You are ready to run a local llama-server:
If you launch llama-server, it will be listening at http://127.0.0.1:8080/ in your browser.

###################################################################

You can now launch an optimized llama-server.

just run next lines in your terminal:

###################################################################

LLAMA_BIN=/home/yblgt/llama.cpp/build/bin
MODEL=/data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf

$LLAMABIN/llama-server --model $MODEL -t 20 --batch-size 1953 --ubatch-size 772 -ngl 115 --override-tensor "blk.(?:[0-9]*[02468]).ffn.*_exps.=CPU" --flash-attn

########################################################

Benchmarking your OPTIMIZED configuration

Let's run the following line on terminal:

########################################################

/home/yblgt/llama.cpp/build/bin/llama-bench --model /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_KM.gguf -t 20 --batch-size 1953 --ubatch-size 772 -ngl 115 --flash-attn 1 -n 128 -p 256 -r 6 --no-warmup --progress --override-tensor "blk.(?:[0-9]*[02468]).ffn.*_exps.=CPU"

llama-bench: benchmark 1/2: starting
llama-bench: benchmark 1/2: prompt run 1/6
llama-bench: benchmark 1/2: prompt run 2/6
llama-bench: benchmark 1/2: prompt run 3/6
llama-bench: benchmark 1/2: prompt run 4/6
llama-bench: benchmark 1/2: prompt run 5/6
llama-bench: benchmark 1/2: prompt run 6/6
| qwen35 27B Q4K - Medium | 15.35 GiB | 27.32 B | CUDA | 115 | 20 | 1953 | 772 | 1 | blk.(?:[0-9]*[02468]).ffn._exps.=CPU | pp256 | 650.25 ± 14.02 |
llama-bench: benchmark 2/2: starting
llama-bench: benchmark 2/2: generation run 1/6
llama-bench: benchmark 2/2: generation run 2/6
llama-bench: benchmark 2/2: generation run 3/6
llama-bench: benchmark 2/2: generation run 4/6
llama-bench: benchmark 2/2: generation run 5/6
llama-bench: benchmark 2/2: generation run 6/6
| qwen35 27B Q4_K - Medium | 15.35 GiB | 27.32 B | CUDA | 115 | 20 | 1953 | 772 | 1 | blk.(?:[0-9][02468]).ffn_.*_exps.=CPU | tg128 | 27.18 ± 0.01 |

build: a957b7747 (9173)

########################################################

Compare your previous results with NON-OPTIMIZED case

Let's run the following line on terminal:

Look for results in column 't/s' (tokens/s)

row tg128 --> reports on token generation speed

row pp256 --> reports on prompt processing speed

########################################################

/home/yblgt/llama.cpp/build/bin/llama-bench --model /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf -n 128 -p 256 -r 6 --no-warmup --progress

llama-bench: benchmark 1/2: starting
llama-bench: benchmark 1/2: prompt run 1/6
llama-bench: benchmark 1/2: prompt run 2/6
llama-bench: benchmark 1/2: prompt run 3/6
llama-bench: benchmark 1/2: prompt run 4/6
llama-bench: benchmark 1/2: prompt run 5/6
llama-bench: benchmark 1/2: prompt run 6/6
| qwen35 27B Q4_K - Medium | 15.35 GiB | 27.32 B | CUDA | 99 | pp256 | 637.51 ± 35.49 |
llama-bench: benchmark 2/2: starting
llama-bench: benchmark 2/2: generation run 1/6
llama-bench: benchmark 2/2: generation run 2/6
llama-bench: benchmark 2/2: generation run 3/6
llama-bench: benchmark 2/2: generation run 4/6
llama-bench: benchmark 2/2: generation run 5/6
llama-bench: benchmark 2/2: generation run 6/6
| qwen35 27B Q4_K - Medium | 15.35 GiB | 27.32 B | CUDA | 99 | tg128 | 26.97 ± 0.03 |

build: a957b7747 (9173)

优化命令
./build/bin/llama-server \
-m /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_KM.gguf \
--port 8000 --host 0.0.0.0 \
-t 20 \
--threads-batch 20 \ # 建议与 -t 相同
--n-gpu-layers 115 \ # 替换原来的 -1
-c 196608 \
--batch-size 1953 \
--ubatch-size 772 \
--flash-attn on \
--override-tensor "blk.(?:[0-9]*[02468]).ffn.*_exps.=CPU" \
--cont-batching \
--spec-type draft-mtp \
--spec-draft-n-max 2 \
--spec-draft-p-min 0.7 \
--cache-type-k q4_0 --cache-type-v q4_0 \
--parallel 1 \
--temp 0.6 \
--mlock \
--no-warmup \
--prio 3

测试环境：
双E5-2643 V3+32G+1T
RTX2080TI 魔改卡22G
Ubuntu 22.04 (内核5.15，原6.8，性能降18%，待调)
Nvidia driver 535.309.01 cuda 12.2
qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf
MTP 开启
上下文长度192K
llama.cpp mtp分支

命令：
./build/bin/llama-server \
-m /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf \
--port 8000 --host 0.0.0.0 \
-t 4 --threads-batch 4 \
--n-gpu-layers -1 \
-c 196608 \
--batch-size 8192 \
--flash-attn on \
--cont-batching \
--spec-type draft-mtp \
--spec-draft-n-max 2 \
--spec-draft-p-min 0.75 \
--cache-type-k q4_0 --cache-type-v q4_0 \
--parallel 1 \
--temp 0.6 \
--mlock \
--no-warmup \
--prio 3

1. 确保你在 llama.cpp 的根目录下

cd ~/llama.cpp

2. 直接拉取该 PR 的代码并创建本地分支 pr-22673

git fetch https://github.com/ggml-org/llama.cpp.git pull/22673/head:pr-22673

3. 切换到这个新分支

git checkout pr-22673

编译：
make -B build -DGGML_CUDA=ON \
-DCMAKE_CUDA_ARCHITECTURES="75" \
-DGGML_CUDA_F16=ON \
-DGGML_CUDA_FLASH_ATTN=OFF

执行编译：
cmake --build build --config Release -j$(nproc)

注意：
huggingface.co难以下载，要换成国内镜像，方法如下：
直接修改 llama.cpp 源码，把 HF 地址永久换成镜像
第一步：打开这个文件
运行
nano ~/llama.cpp/scripts/webui-download.cmake
第二步：找到这一行（大约在 20～40 行之间）
set(LLAMA_WEBUI_HF_BUCKET_URL "https://huggingface.co/buckets/ggml-org/llama-ui/resolve" CACHE STRING "URL for the WebUI bucket")
第三步：把里面的网址替换成国内镜像
改成：
set(LLAMA_WEBUI_HF_BUCKET_URL "https://hf-mirror.com/buckets/ggml-org/llama-ui/resolve" CACHE STRING "URL for the WebUI bucket")
第四步：保存退出
nano 按：
Ctrl+O → 回车 → Ctrl+X

可以执行的命令：
./build/bin/llama-server \
-m /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf \
--port 8000 \
--host 0.0.0.0 \
-t 8 \
--n-gpu-layers -1 \
-c 32768 \
--flash-attn on \
--spec-type draft-mtp \
--spec-draft-n-max 1 \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--no-warmup \
--prio 3