VLLM命令 经验技巧

(myenv) yblgt@yblgt-ThinkStation-P710:~$ nohup vllm serve /data/models/awq3.8-standard \ --served-model-name qwen38-awq \ --host 0.0.0.0 \ --port 8002 \ --dtype float16 \ --attent...
一把老骨头 发布于 
64 0

dflash2 启动命令 经验技巧

cd ~/llama-dflash ./build/bin/llama-server \ -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf \ -md /data/models/Qwen3.8-27B-DFlash2/Q4_K_M.gguf \ --port 8001 --host 0.0...
一把老骨头 发布于 
118 0

更新LLAMA.CPP后优化命令对比 经验技巧

原命令：./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400...
一把老骨头 发布于 
99 0

安装Knowflow踩坑及利用TRAE排错过程

KnowFlow / RAGFlow 部署故障排查与解决 三个相互叠加的根因——硬编码 IP 失效、Elasticsearch 内存超限、RBAC 初始化竞态——的定位过程、修复措施与验证结果。 应用 KnowFlow v2.1.8（RAGFlow slim） 服务器 7.6GB RAM · 无 Swap · 公网 日期 2026-08-26 状态 已解决 ...
一把老骨头 发布于 
101 0

QWEN3.8-27B参数调优

原命令： yblgt@yblgt-ThinkP710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batc...
一把老骨头 发布于 
221 4

hf-mirror

https://hf-mirror.com/models?apps=llama.cpp&sort=trending
一把老骨头 发布于 
538 0

安装VLLM手册 经验技巧

方案一：使用 uv 安装（推荐） 这是官方推荐的安装方式。uv 是一个快速的 Python 环境管理器，能自动处理 PyTorch 与 CUDA 版本的匹配问题 。 安装系统依赖和 uv 工具 bash 更新系统并安装编译工具和 Python 开发头文件 sudo apt update && sudo apt upgrade -y sud...
一把老骨头 发布于 
426 0

安装LLAMA.CPP 经验技巧

安装 NVIDIA 驱动与 CUDA 最稳妥的方式是使用 Ubuntu 的官方源来安装驱动，它能自动处理依赖关系，避免冲突。 更新系统并安装驱动工具 bash sudo apt update sudo apt upgrade -y sudo apt install -y ubuntu-drivers-common build-essential 自动...
一把老骨头 发布于 
414 0

下载大模型命令汇总 经验技巧

前体是把hf-mirror.com加入 3 个模型 hf 下载命令（直接复制运行） 全部自动存到 /data/models 里 Qwen3.5-27B 4-bit hf download Qwen/Qwen3.5-27B-Instruct-GGUF qwen3.5-27b-instruct-q4_0.gguf --local-dir /data/model...
一把老骨头 发布于 
320 0

我的DFLASH模型测试命令 经验技巧

./build/bin/llama-server -m /data/models/brian6145-27b/Qwen3.6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-Q4_K_M.gguf --mmproj /data/models/unsloth-qwen27b/mmproj-F16.gguf --no-mmpr...
一把老骨头 发布于 
234 0

老铁的DFLASH命令，参考一下 经验技巧

**./llama-server.exe -m "C:\Users\home\.cache\modelscope\hub\models\Brian6145\Qwen3___6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-GGUF\Qwen3.6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-...
一把老骨头 发布于 
218 0

wampserver的依赖库和其他技术文件网址 推荐工具

https://wampserver.aviatechno.net/
一把老骨头 发布于 
210 0

运行VL大模型修改了命令 经验技巧

./build/bin/llama-server \ -m /data/models/unsloth-qwen3-vl-30b/Qwen3-VL-30B-A3B-Instruct-Q4_K_M.gguf \ --port 8000 --host 0.0.0.0 \ -t 6 \ --threads-batch 6 \ --n-gpu-layers 81 \ ...
一把老骨头 发布于 
211 0

采纳DFLASH大模型的命令（未成功，要换分支跑） 经验技巧

./build/bin/llama-server \ -m /data/models/unsloth-qwen27b/Qwen3.6-27B-Q4_K_M.gguf \ --mmproj /data/models/unsloth-qwen27b/mmproj-F16.gguf \ --no-mmproj-offload \ --spec-draft-mode...
一把老骨头 发布于 
234 0

Beellama安装手册 经验技巧

BeeLlama.cpp 简介 BeeLlama.cpp（简称 Bee）是 llama.cpp 的一个高性能分支，专注于提升本地 GGUF 模型推理的速度和上下文长度。它在保留 llama.cpp 工具和服务器流程的基础上，增加了以下关键特性： DFlash 推测解码：利用小型草稿模型预测多个 token，由主模型验证，显著提升生成速度（尤其适用于代码、结...
一把老骨头 发布于 
250 0

LLAMA.CPP升级成功命令 经验技巧

更新代码并准备环境 首先，进入 llama.cpp 项目目录，拉取最新的代码。然后，根据官方推荐，清理旧版的 Web UI 构建文件，并确保 Node.js 环境是最新的，这是为了构建内置 Web UI 所必需的。 cd ~/llama.cpp git pull origin master # 拉取最新代码 清理旧 Web UI 构建文件 rm -rf t...
一把老骨头 发布于 
259 0

我的主力模型在三大场景的命令参数 经验技巧

写文章专用：（占用21103M,写文章速度30T/S） ./build/bin/llama-server -m /data/models/unsloth-qwen27b/Qwen3.6-27B-Q4_K_M.gguf --mmproj /data/models/unsloth-qwen27b/mmproj-F16.gguf --port 8000...
一把老骨头 发布于 
249 0

下载无审查QWEN3.6-35B-A3B-UNCENSORED的命令 经验技巧

hf download HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive \ --local-dir ./Qwen3.6-35B-A3B-Uncensored \ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_XS.gguf
一把老骨头 发布于 
321 0
article cover

尝鲜下载谷歌Gemma 4 QAT大模型地址（26B、12B） 经验技巧

26B: hf download unsloth/gemma-4-26B-A4B-it-qat-GGUF --local-dir ./gemma-4-26b --include "*.gguf" 12B: 下载主模型（推荐 Q4_K_M 版本，性能与体积平衡） hf download bartowski/gemma-4-12B-i...
一把老骨头 发布于 
312 0

LLAMA-BENCH自动测试命令 经验技巧

未加入线程： 你的固定基础配置 BASE="/home/yblgt/llama.cpp/build/bin/llama-bench \ --model /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf \ -t 6 \ -ngl 81 \ --flash-attn 1 \ -n 256...
一把老骨头 发布于 
416 0
blogger
一把老骨头
CISA,CISP,PMP,27001LA

最新评论

链接

搜索

分类