LLAMA.CPP升级到0.7的命令参数(免思考) 经验技巧

yblgt@yblgt-ThinkStation-P710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-UD-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-...
一把老骨头 发布于 

Strata运行IQ2_XS 经验技巧

运行命令: yblgt@yblgt-ThinkStation-P710:~/Strata$ ./setup.sh --host 0.0.0.0 --api-key 123456 挂载模型: http://100.108.44.45:8080/v1 更新命令 cd ~/Strata ./update.sh Model and engine Model qwe...
一把老骨头 发布于 

STRATA安装方法 经验技巧

git clone https://github.com/Niko1221/Strata.git cd Strata export HF_ENDPOINT=https://hf-mirror.com ./setup.sh --host 0.0.0.0 --api-key 123456 (加0.0.0.0,否则其他电脑不能访问) Ubuntu 安装 Strat...
一把老骨头 发布于 

llama-optimus的安装和测试

安装 pipx bash sudo apt update sudo apt install pipx 确保 pipx 管理的程序路径已加入 PATH bash pipx ensurepath 安装 llama-optimus bash pipx install llama-optimus 4、命令 llama-optimus \ --llama-...
一把老骨头 发布于 

针对IQUIZ评测的模型运行参数和测试命令参数 经验技巧

./build/bin/llama-server \ -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-UD-Q4_K_M.gguf \ --port 8000 --host 0.0.0.0 \ -t 12 --threads-batch 12 \ --n-gpu-layers 999 \ -c 20000 --...
一把老骨头 发布于 

从UBUNTU拷贝文件命令 经验技巧

使用POWERSHELL scp -r yblgt@100.108.44.45:~/outputs/20260929_111046/reports C:\ 输入密码后操作 *使用场景:拷贝IQUIZ测试报告 python3 -m venv .venv-evalscope source .venv-evalscope/bin/activate evalscop...
一把老骨头 发布于 

UBUNTU24.04安装EvalScope和运行命令 经验技巧

创建并激活虚拟环境(推荐) 用 conda 或 Python 自带的 venv 隔离环境,避免依赖冲突。官方推荐使用 Python 3.10。 bash 使用 conda(如果已安装) conda create -n evalscope python=3.10 conda activate evalscope 或者使用 venv python3 -m v...
一把老骨头 发布于 

家中新挂硬盘UBUNTU24.04启用WEBUI命令 经验技巧

重新启动它 你之前应该是在 webui-env 这个虚拟环境里启动的。标准启动方式: bash 复制 下载 cd /home/yblgt/projects/webui-env source bin/activate open-webui serve 如果想让它后台跑、关掉终端也不停: bash 复制 下载 cd /home/yblgt/projects/we...
一把老骨头 发布于 

Bonsai-2-27B执行命令 经验技巧

yblgt@yblgt-ThinkP710:~/hll$ /home/yblgt/hll/build/bin/llama-server \ -m /data/models/bonsai-27b/Ternary-Bonsai-2-27B-PQ2_0.gguf \ --port 8000 --host 0.0.0.0 \ -t 12 --threads-bat...
一把老骨头 发布于 

LLAMA.CPP V0.5运行qwen3.8-27b较好的参数(输出平均34token/s) 经验技巧

注:256K肯定OOM,100K没问题,内存占用81,上下文还能上升一点,没时间 试了 ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-...
一把老骨头 发布于 

最新投入使用的模型调用命令(2026-9-23) 经验技巧

./build/bin/llama-server \ -m /data/models/is-qwen3.8-35b/Qwen3.8-35B-A3B-Distill.APEX-I-MiniPlus-V2.1-Abliterated.gguf \ --port 8000 --host 0.0.0.0 \ -t 12 --threads-batch 12 \ --...
一把老骨头 发布于 

WORKBUDDY,TRAE搜索资料模板 经验技巧

检索主题: 要求: 至少覆盖 8 个独立来源,逐个列出链接 从以下角度分别检索:官方/政策、行业媒体、企业公开信息、技术社区 优先权威源(gov.cn、行业协会、上市公司公告),自媒体内容需标注 时间范围:近12 个月 关键数据标注来源;多源冲突时单独列出,不要取平均值 最后给我一份"信息缺口"清单:哪些点你没找到可靠来源...
一把老骨头 发布于 

VLLM命令 经验技巧

(myenv) yblgt@yblgt-ThinkStation-P710:~$ nohup vllm serve /data/models/awq3.8-standard \ --served-model-name qwen38-awq \ --host 0.0.0.0 \ --port 8002 \ --dtype float16 \ --attent...
一把老骨头 发布于 

dflash2 启动命令 经验技巧

cd ~/llama-dflash ./build/bin/llama-server \ -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf \ -md /data/models/Qwen3.8-27B-DFlash2/Q4_K_M.gguf \ --port 8001 --host 0.0...
一把老骨头 发布于 

更新LLAMA.CPP后优化命令对比 经验技巧

原命令:./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400...
一把老骨头 发布于 

安装Knowflow踩坑及利用TRAE排错过程

KnowFlow / RAGFlow 部署故障排查与解决 三个相互叠加的根因——硬编码 IP 失效、Elasticsearch 内存超限、RBAC 初始化竞态——的定位过程、修复措施与验证结果。 应用 KnowFlow v2.1.8(RAGFlow slim) 服务器 7.6GB RAM · 无 Swap · 公网 日期 2026-08-26 状态 已解决 ...
一把老骨头 发布于 

QWEN3.8-27B参数调优

原命令: yblgt@yblgt-ThinkP710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batc...
一把老骨头 发布于 

hf-mirror

https://hf-mirror.com/models?apps=llama.cpp&sort=trending
一把老骨头 发布于 

安装VLLM手册 经验技巧

方案一:使用 uv 安装(推荐) 这是官方推荐的安装方式。uv 是一个快速的 Python 环境管理器,能自动处理 PyTorch 与 CUDA 版本的匹配问题 。 安装系统依赖和 uv 工具 bash 更新系统并安装编译工具和 Python 开发头文件 sudo apt update && sudo apt upgrade -y sud...
一把老骨头 发布于 

安装LLAMA.CPP 经验技巧

安装 NVIDIA 驱动与 CUDA 最稳妥的方式是使用 Ubuntu 的官方源来安装驱动,它能自动处理依赖关系,避免冲突。 更新系统并安装驱动工具 bash sudo apt update sudo apt upgrade -y sudo apt install -y ubuntu-drivers-common build-essential 自动...
一把老骨头 发布于