LLAMA.CPP升级成功命令

一把老骨头 发布于 阅读:61 经验技巧

更新代码并准备环境

首先,进入 llama.cpp 项目目录,拉取最新的代码。然后,根据官方推荐,清理旧版的 Web UI 构建文件,并确保 Node.js 环境是最新的,这是为了构建内置 Web UI 所必需的。

cd ~/llama.cpp
git pull origin master # 拉取最新代码

清理旧 Web UI 构建文件

rm -rf tools/ui/dist

清理旧编译文件,保证全新编译

rm -rf build

安装或更新 Node.js 和 npm (用于构建 UI 资源)

这里使用了 NodeSource 的脚本安装 Node.js 20.x 版本

curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -
sudo apt install -y nodejs

重新编译

mkdir build && cd build
cmake .. \
-DCMAKE_BUILD_TYPE=Release \
-DGGML_CUDA=ON \
-DLLAMA_CURL=ON \
-DLLAMA_SERVER=ON
make -j$(nproc)

参数:
-DGGML_CUDA=ON 启用 NVIDIA CUDA GPU 加速
-DGGML_CUDA_F16=ON 启用 FP16 计算(可选,提升性能)
-DLLAMA_CURL=ON 启用 HTTP/HTTPS 网络支持(Web UI 需要)
-DLLAMA_SERVER=ON 编译 llama-server(Web UI 服务)
-DLLAMA_AVX2=ON 启用 AVX2 指令集优化(Intel CPU)

另一个:
cd ~/llama.cpp
git pull origin master # 拉取最新代码

清理旧 Web UI 构建文件

rm -rf tools/ui/dist

清理旧编译文件,保证全新编译

rm -rf build

安装或更新 Node.js 和 npm (用于构建 UI 资源)

这里使用了 NodeSource 的脚本安装 Node.js 20.x 版本

curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -
sudo apt install -y nodejs

mkdir build && cd build

配置 CMake。你原来的 CUDA、CURL 等选项都保留着

cmake .. \
-DCMAKE_BUILD_TYPE=Release \
-DGGML_CUDA=ON \
-DLLAMA_CURL=ON \
-DLLAMA_SERVER=ON # 这个选项会构建内置 Web UI

开始编译,使用所有 CPU 核心加速

make -j$(nproc)