- 创建并激活虚拟环境(推荐)
用 conda 或 Python 自带的 venv 隔离环境,避免依赖冲突。官方推荐使用 Python 3.10。
bash
使用 conda(如果已安装)
conda create -n evalscope python=3.10
conda activate evalscope
或者使用 venv
python3 -m venv .venv-evalscope
source .venv-evalscope/bin/activate
- 安装 EvalScope
直接 pip 安装核心包,你已经有了 llama.cpp 服务,不需要额外的本地推理依赖。
bash
pip install evalscope
- 验证
bash
evalscope --version
运行命令:
evalscope eval --model "/data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf" --api-url http://127.0.0.1:8000/v1 --api-key EMPTY --eval-type openai_api --datasets iquiz