hf-mirror

https://hf-mirror.com/models?apps=llama.cpp&sort=trending
一把老骨头 发布于 
7 0

安装VLLM手册 经验技巧

方案一：使用 uv 安装（推荐） 这是官方推荐的安装方式。uv 是一个快速的 Python 环境管理器，能自动处理 PyTorch 与 CUDA 版本的匹配问题 。 安装系统依赖和 uv 工具 bash 更新系统并安装编译工具和 Python 开发头文件 sudo apt update && sudo apt upgrade -y sud...
一把老骨头 发布于 
7 0

安装LLAMA.CPP 经验技巧

安装 NVIDIA 驱动与 CUDA 最稳妥的方式是使用 Ubuntu 的官方源来安装驱动，它能自动处理依赖关系，避免冲突。 更新系统并安装驱动工具 bash sudo apt update sudo apt upgrade -y sudo apt install -y ubuntu-drivers-common build-essential 自动...
一把老骨头 发布于 
31 0

下载大模型命令汇总 经验技巧

前体是把hf-mirror.com加入 3 个模型 hf 下载命令（直接复制运行） 全部自动存到 /data/models 里 Qwen3.5-27B 4-bit hf download Qwen/Qwen3.5-27B-Instruct-GGUF qwen3.5-27b-instruct-q4_0.gguf --local-dir /data/model...
一把老骨头 发布于 
64 0

我的DFLASH模型测试命令 经验技巧

./build/bin/llama-server -m /data/models/brian6145-27b/Qwen3.6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-Q4_K_M.gguf --mmproj /data/models/unsloth-qwen27b/mmproj-F16.gguf --no-mmpr...
一把老骨头 发布于 
56 0

老铁的DFLASH命令，参考一下 经验技巧

**./llama-server.exe -m "C:\Users\home\.cache\modelscope\hub\models\Brian6145\Qwen3___6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-GGUF\Qwen3.6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-...
一把老骨头 发布于 
46 0

wampserver的依赖库和其他技术文件网址 推荐工具

https://wampserver.aviatechno.net/
一把老骨头 发布于 
36 0

运行VL大模型修改了命令 经验技巧

./build/bin/llama-server \ -m /data/models/unsloth-qwen3-vl-30b/Qwen3-VL-30B-A3B-Instruct-Q4_K_M.gguf \ --port 8000 --host 0.0.0.0 \ -t 6 \ --threads-batch 6 \ --n-gpu-layers 81 \ ...
一把老骨头 发布于 
33 0

采纳DFLASH大模型的命令（未成功，要换分支跑） 经验技巧

./build/bin/llama-server \ -m /data/models/unsloth-qwen27b/Qwen3.6-27B-Q4_K_M.gguf \ --mmproj /data/models/unsloth-qwen27b/mmproj-F16.gguf \ --no-mmproj-offload \ --spec-draft-mode...
一把老骨头 发布于 
56 0

Beellama安装手册 经验技巧

BeeLlama.cpp 简介 BeeLlama.cpp（简称 Bee）是 llama.cpp 的一个高性能分支，专注于提升本地 GGUF 模型推理的速度和上下文长度。它在保留 llama.cpp 工具和服务器流程的基础上，增加了以下关键特性： DFlash 推测解码：利用小型草稿模型预测多个 token，由主模型验证，显著提升生成速度（尤其适用于代码、结...
一把老骨头 发布于 
64 0

LLAMA.CPP升级成功命令 经验技巧

更新代码并准备环境 首先，进入 llama.cpp 项目目录，拉取最新的代码。然后，根据官方推荐，清理旧版的 Web UI 构建文件，并确保 Node.js 环境是最新的，这是为了构建内置 Web UI 所必需的。 cd ~/llama.cpp git pull origin master # 拉取最新代码 清理旧 Web UI 构建文件 rm -rf t...
一把老骨头 发布于 
62 0

我的主力模型在三大场景的命令参数 经验技巧

写文章专用：（占用21103M,写文章速度30T/S） ./build/bin/llama-server -m /data/models/unsloth-qwen27b/Qwen3.6-27B-Q4_K_M.gguf --mmproj /data/models/unsloth-qwen27b/mmproj-F16.gguf --port 8000...
一把老骨头 发布于 
72 0

下载无审查QWEN3.6-35B-A3B-UNCENSORED的命令 经验技巧

hf download HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive \ --local-dir ./Qwen3.6-35B-A3B-Uncensored \ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_XS.gguf
一把老骨头 发布于 
142 0
article cover

尝鲜下载谷歌Gemma 4 QAT大模型地址（26B、12B） 经验技巧

26B: hf download unsloth/gemma-4-26B-A4B-it-qat-GGUF --local-dir ./gemma-4-26b --include "*.gguf" 12B: 下载主模型（推荐 Q4_K_M 版本，性能与体积平衡） hf download bartowski/gemma-4-12B-i...
一把老骨头 发布于 
148 0

LLAMA-BENCH自动测试命令 经验技巧

未加入线程： 你的固定基础配置 BASE="/home/yblgt/llama.cpp/build/bin/llama-bench \ --model /data/models/qwen3.6-27b-mtp/Qwen3.6-27B-MTP-Q4_K_M.gguf \ -t 6 \ -ngl 81 \ --flash-attn 1 \ -n 256...
一把老骨头 发布于 
222 0

深挖RTX2080TI性能优化：跑千问大模型的命令记录（二） 经验技巧

跑完llama.cpp的bench基准测试结果： ######################################################################## Find maximum number of model layers that can be written to your VRAM #############...
一把老骨头 发布于 
216 0

深挖RTX2080TI性能优化：跑千问大模型的命令记录（一） 经验技巧

任务四：在QWENPAW中测试输出IOS 27001审核计划书 耗时24分钟，中间有截断，后补全成功。 测试环境： 双E5-2643 V3+32G+1T RTX2080TI 魔改卡22G Ubuntu 22.04 (内核5.15，原6.8，性能降18%，待调) Nvidia driver 535.309.01 cuda 12.2 qwen3.6-27b...
一把老骨头 发布于 
192 0

RTX2080TI魔改卡+QWEN3.6-27B+MTP多TOKEN预测技术部署要点 经验技巧

安装步骤： 1. 确保你在 llama.cpp 的根目录下 cd ~/llama.cpp 2. 直接拉取该 PR 的代码并创建本地分支 pr-22673 git fetch https://github.com/ggml-org/llama.cpp.git pull/22673/head:pr-22673 3. 切换到这个新分支 git checkout p...
一把老骨头 发布于 
314 0
article cover

在线的LLM 推理: 显存与性能计算器 推荐工具

https://apxml.com/zh/tools/vram-calculator
一把老骨头 发布于 
233 0
article cover

记录CRM嵌入MAXKB智能体过程及坑 经验技巧

1、登录MAXKB,在模板中心找一个“CRM智能查询体”，创建并使用 2、MAXKB会自动建立一个MCP,名为“cordys test mcp” 3、登录Cordys CRM,在“个人中心”里创建Access key和Secret Key,并记录下来 4、在MAXKB的工具里，找到“cordys test mcp”，将记录的ak和sk写进去，测试一下连...
一把老骨头 发布于 
313 0
blogger
一把老骨头
CISA,CISP,PMP,27001LA

最新评论

链接

搜索

分类