LLaMA-Factory安装

LLaMA-Factory 完整安装教程以下是使用 conda 创建虚拟环境并安装 LLaMA-Factory 的详细步骤1. 创建 Conda 虚拟环境首先创建一个独立的 Python 环境推荐使用 Python 3.11 版本conda create -n llamafactory python3.11 conda activate llamafactory环境名称llamafactory可以自定义激活后终端提示符会显示(llamafactory)。2. 检查可安装的 CUDA 版本在安装 CUDA 前需要检查你的 NVIDIA 显卡支持的 CUDA 版本nvidia-smi查看右上角显示的 CUDA Version这表示你的驱动支持的最高 CUDA 版本。2. 检查Conda提供的可安装的 CUDA 版本在安装PyThon 前需要检查你的Conda提供的 CUDA 版本conda search cudatoolkit3. 查询适配的CUDA PyTorch 版本根据安装的 CUDA 版本选择对应的 PyTorch。访问 PyTorch 官网获取最新安装命令或使用以下对应关系点击“ install previous versions of PyTorch”以CUDA 11.8 为例找到对应的安装指令4. 安装 CUDA如果系统未安装 CUDA可以通过 conda 安装conda install -c conda-forge cudatoolkit11.8 cudnn或者根据你的 CUDA 版本需求安装特定版本例如 CUDA 11.85. 安装 PyTorch 和 CUDA 支持使用 conda 安装 PyTorch 和对应的 CUDA 版本推荐方式# 对于 CUDA 11.8 pip install torch2.7.1 torchvision0.22.1 torchaudio2.7.1 --index-url https://download.pytorch.org/whl/cu118验证 PyTorch GPU 支持python -c import torch; print(torch.cuda.is_available())如果输出True说明 GPU 版本的 PyTorch 安装成功 。6. LLaMA-Factory下载安装克隆 LLaMA-Factory 仓库# 主仓库 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e . pip install -r requirements/metrics.txt如果出现环境冲突请尝试使用pip install --no-deps -e .解决验证安装是否成功llamafactory-cli version如果输出类似v0.8.0的版本号说明安装成功 。7. 启动 LLaMA-Factory WebUI启动 Web 界面服务# 启动 WebUI llamafactory-cli webui访问地址本地运行http://127.0.0.1:7860远程服务器http://你的服务器IP:7860常见问题解决CUDA 版本不匹配确保 PyTorch 的 CUDA 版本与系统安装的 CUDA 版本一致。内存不足如果出现CUDA error: out of memory尝试减小 batch size 或使用量化。网络超时使用国内镜像源加速下载。Python 版本兼容LLaMA-Factory 支持 Python ≥ 3.9推荐 3.10 或 3.11 。安装过程通常需要 10-20 分钟具体取决于网络速度和硬件配置。完成上述步骤后你就可以通过 Web 界面进行大模型的微调和推理了。