- 宿主机
ThinkSystem SR658 20C * 2 128GB VMware Exsi7.0 Nvdia Quadro RTX 6000 - 虚拟机
操作系统Centos8(CentOS-8.5.2111-x86_64-dvd1.iso)
在安装ollama和加载大模型前，需要检测主机是否支持GPU
1.2.1 检测宿主机是否支持GPU
- 登录到 vSphere Client：
- 打开 vSphere Client 并登录到你的 ESXi 主机或 vCenter Server。
- 导航到主机配置：
- 在左侧导航栏中，选择你的 ESXi 主机。
- 在右侧的“摘要”选项卡中，点击“硬件”部分下的“PCI 设备”。
- 查看 PCI 设备列表：
- 在“PCI 设备”列表中，查找是否有 GPU 设备。通常，GPU 设备会显示为“NVIDIA”、“AMD”或“Intel”等品牌名称。
1.2.2 切换PCI设置为直通
1.2.3 添加PCI设备到虚拟机
1.2.4 关闭UEFI 安全引导
NVIDIA GPU 驱动安装后需要签署 NVIDIA 内核模块，否则nvidia-smi 无法与 NVIDIA 驱动程序通信。而签署 NVIDIA 内核模块需要由内核信任的密钥进行加密签名才能加载。虚拟机如果启用了 Secure Boot，创建密钥需要确保已正确导入 MOK 密钥，才能正确识别签名密钥，否则无法正常签署 NVIDIA 内核模块。因此简单的操作是 修改虚拟机配置》关闭UEFI 安全引导，从而禁用 Secure Boot。参考NVIDIA驱动安装官方文档说明
1.3.1 配置阿里云的 yum 源
1.3.2 升级Python
- 驱动包下载
NVIDIA 驱动软件版本需要和硬件版本兼容，可以通过NVIDIA 官网查看和选择硬件兼容的驱动包，这里我们的GPU版本是Nvdia Quadro RTX 6000，对应的驱动软件包为：NVIDIA-Linux-x86_64-550.135.run - CUDA Toolkit 安装包
通过官网下载操作系统对应的安装包，linux centos7+ 安装包应该是下面两个依赖包：- cuda-repo-rhel7-10-0-local-10.0.130-410.48-1.0-1.x86_64.rpm
- cuda-repo-rhel7-10-0-local-nvjpeg-update-1-1.0-1.x86_64.rpm
- cuDNN安装包
选择与 CUDA 版本兼容的 cuDNN 版本，从官网下载。对于 CUDA 10.0，推荐使用的 cuDNN 版本是 7.6.x：- libcudnn7-7.6.5.32-1.cuda10.0.x86_64.rpm
- libcudnn7-devel-7.6.5.32-1.cuda10.0.x86_64.rpm
- 禁用 Nouveau 驱动
nouveau 是系统默认的开源驱动，要安装NVIDIA 驱动，需要禁用nouveau 。
- 停止图形界面（如果使用的是图形界面）：
- 安装依赖
- 安装cuda
使用rpm模式安装基础包
- 安装驱动
进入到安装包下载路径，运行下面命令进行安装
- 安装cudnn
cudnn库，这是深度学习框架常用的库
参考官网，官方推荐linux下使用安装命令：
但是国内直接使用上述命令一键安装会非常缓慢，我们直接使用github加速代理方式本地下载并进行手动安装。
- 到 ollama github 官网 下载对应的安装包，x86_64 CPU 选择下载 ollama-linux-amd64.tgz
- 执行安装命令
安装完成后便可以使用ollama运行模型
官方下载软件包 python-3.11.9-amd64.exe，下载完成点击安装。
使用miniconda来安装python相关的依赖包。
安装miniconda
通过清华镜像源下载对应软件包，比如我的python是3.11的版本就下载[Miniconda3-py311_24.7.1-0-Windows-x86_64.exe]。下载完成点击安装即可。
点击Anaconda Prompt进入命令行模式
安装python依赖
在Anaconda Prompt命令行模式下执行【pip install ollama faiss-cpu tqdm numpy】命令，完成RAG所需要依赖安装。
如何安装出现下面错误，则需要配置配置镜像源。
镜像源配置
- 更改 pip 配置文件
编辑 pip 的配置文件（~/.pip/pip.conf 或 C:Users<username>pippip.ini）：
- 直接在命令行模式下配置
安装完镜像源重新执行命令【pip install ollama faiss-cpu tqdm numpy】即可。