当前位置：首页 > news >正文

通义千问1.5-1.8B-Chat-GPTQ-Int4入门部署：Ubuntu 20.04系统环境保姆级配置

news 2026/8/30 11:14:28

通义千问1.5-1.8B-Chat-GPTQ-Int4入门部署：Ubuntu 20.04系统环境保姆级配置

想试试通义千问这个轻量级模型，结果第一步装环境就被卡住了？这感觉我懂。网上教程要么太老，要么太散，照着做不是驱动报错，就是依赖冲突，最后只能对着命令行干瞪眼。

今天这篇，咱们就专门解决这个问题。我会手把手带你，在Ubuntu 20.04上，把运行通义千问1.5-1.8B-Chat-GPTQ-Int4模型所需的环境，从零到一完整地搭起来。重点不是讲原理，而是让你能一步一步跟着做，避开那些常见的坑。我们会搞定系统更新、GPU驱动、CUDA、cuDNN，还有Docker，最后再聊聊怎么和星图平台的镜像顺畅对接。

只要你有一台装了Ubuntu 20.04、带NVIDIA显卡的电脑或服务器，跟着走，今天就能把环境准备好。

1. 准备工作：检查你的起点

在开始动手之前，我们先花两分钟确认一下“起跑线”，这能避免很多无用功。

首先，打开你的终端。在Ubuntu里，你可以按Ctrl+Alt+T快速打开。

确认系统版本：在终端里输入下面的命令，看看输出是不是 Ubuntu 20.04。

lsb_release -a

你应该能看到类似这样的信息，关键看Description这一行：

Description: Ubuntu 20.04.6 LTS

检查显卡：我们需要知道你的电脑里有没有NVIDIA显卡，以及具体型号。输入：

lspci | grep -i nvidia

如果能看到一长串包含“VGA compatible controller: NVIDIA Corporation...”的信息，那就说明显卡硬件是存在的。记下你的显卡型号（比如 RTX 3060, RTX 4090等），这对后续选择驱动版本有参考价值。

最后，确保网络通畅。因为接下来的步骤需要从互联网下载大量的软件包。

好了，起点确认完毕，我们开始第一步：把系统本身收拾利索。

2. 第一步：更新系统与安装基础工具

一个干净、最新的系统是后续所有工作的基础。这一步很简单，就是让Ubuntu自己更新到最新状态，并安装一些我们后续会用到的工具。

在终端中，依次执行以下命令。第一条命令可能会要求你输入用户密码，输入时屏幕不会有显示，这是正常的。

# 1. 更新软件包列表，获取最新的版本信息 sudo apt update # 2. 升级所有已安装的软件包到最新版本 sudo apt upgrade -y # 3. 安装一些后续步骤可能需要的工具 # `software-properties-common` 用于管理软件源 # `build-essential` 包含编译代码需要的基础工具（如gcc, make） # `curl` 和 `wget` 是常用的命令行下载工具 sudo apt install -y software-properties-common build-essential curl wget

-y参数的意思是自动回答“yes”，省去我们手动确认的麻烦。整个过程可能会花几分钟，取决于你的网速和需要更新的软件包数量。

完成后，你的系统就已经是一个状态良好的起点。接下来，我们要解决最重要的部分：让系统认识并使用你的NVIDIA显卡。

3. 第二步：安装NVIDIA显卡驱动

显卡驱动是让操作系统和GPU硬件“对话”的桥梁。没装对驱动，后面的CUDA什么的都白搭。Ubuntu 20.04提供了一个相对省心的方法来安装官方驱动。

首先，添加官方的显卡驱动PPA（软件源）：

sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update

然后，查找并安装推荐的驱动：

# 这个命令会列出所有可用的NVIDIA驱动版本，并标记出推荐安装的版本 ubuntu-drivers devices

执行后，你会看到输出里有一行类似recommended的标识，后面跟着一个驱动版本号，比如nvidia-driver-535。

最后，安装这个推荐的驱动：

# 将下面的‘nvidia-driver-535’替换成你上一步看到的推荐版本号 sudo apt install -y nvidia-driver-535

安装过程会比较长，并且完成后会提示你需要重启系统。一定要重启，否则新驱动不会生效。

重启后，再次打开终端，输入以下命令来验证驱动是否安装成功：

nvidia-smi

如果安装成功，你会看到一个表格，显示了你的GPU型号、驱动版本、CUDA版本（这里显示的是驱动支持的最高CUDA版本，并非我们已安装的）以及GPU的使用情况。看到这个界面，恭喜你，最可能出问题的一关已经过了。

4. 第三步：安装CUDA工具包

CUDA是NVIDIA推出的并行计算平台和编程模型，很多AI框架（包括PyTorch、TensorFlow）都依赖它来在GPU上加速计算。我们需要安装一个与通义千问模型兼容的CUDA版本。

这里我们选择安装CUDA 11.8，这是一个比较稳定且广泛支持的版本。我们使用NVIDIA官方提供的网络安装方式。

# 下载CUDA 11.8的安装脚本 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run # 给脚本添加执行权限 sudo chmod +x cuda_11.8.0_520.61.05_linux.run # 运行安装程序 sudo sh cuda_11.8.0_520.61.05_linux.run

运行安装程序后，会出现一个基于文本的界面。

首先阅读许可协议，按空格键翻页，最后输入accept并回车接受。
在组件选择界面，使用方向键移动，按空格键取消勾选Driver（因为我们已经安装了驱动）。确保CUDA Toolkit 11.8是选中的。
按回车键继续安装。

安装完成后，我们需要将CUDA的路径添加到系统环境变量，这样系统才能找到它。

打开你的用户配置文件（如果你用的是bash shell）：

nano ~/.bashrc

在文件的最末尾，添加以下几行：

export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

添加后，按Ctrl+O保存，再按Ctrl+X退出nano编辑器。

最后，让配置立即生效：

source ~/.bashrc

验证CUDA是否安装成功：

nvcc --version

如果命令输出了CUDA 11.8的版本信息，说明安装和配置都正确了。

5. 第四步：安装cuDNN库

cuDNN是NVIDIA深度神经网络加速库，可以进一步优化深度学习框架在GPU上的性能。我们需要下载对应CUDA 11.8版本的cuDNN。

请注意：下载cuDNN需要注册NVIDIA开发者账号（免费）。这里假设你已经下载好了对应版本的cuDNN压缩包（例如cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz），并放在了用户的Downloads文件夹下。

在终端中执行以下操作：

# 1. 进入下载目录（请根据你的实际存放路径调整） cd ~/Downloads # 2. 解压下载的cuDNN压缩包 tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz # 3. 将cuDNN的文件复制到CUDA的安装目录中 sudo cp cudnn-linux-x86_64-8.9.7.29_cuda11-archive/include/cudnn*.h /usr/local/cuda-11.8/include sudo cp -P cudnn-linux-x86_64-8.9.7.29_cuda11-archive/lib/libcudnn* /usr/local/cuda-11.8/lib64 # 4. 修改文件权限，确保所有用户可读 sudo chmod a+r /usr/local/cuda-11.8/include/cudnn*.h /usr/local/cuda-11.8/lib64/libcudnn*

这样就完成了cuDNN的安装。通常深度学习框架在运行时会自动链接这些库。

6. 第五步：安装Docker与NVIDIA Container Toolkit

为了能方便、干净地运行星图平台提供的AI镜像，我们需要Docker。而为了让Docker容器能使用宿主机的GPU，我们还需要安装NVIDIA Container Toolkit。

安装Docker：

# 1. 卸载旧版本（如果有的话） sudo apt remove docker docker-engine docker.io containerd runc # 2. 安装依赖包 sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release # 3. 添加Docker官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 4. 添加Docker软件源 echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 5. 更新并安装Docker引擎 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io # 6. 将当前用户添加到docker组，这样就不用每次都加sudo了 sudo usermod -aG docker $USER

重要：执行完最后一条命令后，你需要完全退出当前终端，并重新登录，或者重启系统，用户组更改才会生效。

安装NVIDIA Container Toolkit：

# 1. 添加NVIDIA Container Toolkit的软件源和密钥 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list # 2. 更新并安装 sudo apt update sudo apt install -y nvidia-container-toolkit # 3. 重启Docker服务 sudo systemctl restart docker

现在，你可以运行一个测试命令，来验证Docker能否调用GPU：

docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu20.04 nvidia-smi

如果这个命令能成功输出和你在宿主机上运行nvidia-smi类似的GPU信息表格，那么恭喜，你的Docker GPU环境也配置成功了！

7. 对接星图平台镜像的注意事项

环境搭好了，最后我们聊聊怎么用它。当你从星图镜像广场拉取一个通义千问的镜像（比如qwen1.5-1.8b-chat-gptq-int4这类镜像）后，直接用Docker运行即可。

但有时候可能会遇到“依赖冲突”的报错。这通常是因为镜像内部已经预置了特定版本的Python库（如PyTorch、Transformers），这些库对CUDA版本有要求。而我们宿主机安装的CUDA是给开发用的“运行时”，两者并不直接冲突。

解决思路是这样的：

首选方案：信任镜像的封装。星图平台的镜像通常是开箱即用的，它内部已经包含了运行所需的所有依赖。你只需要确保宿主机安装了正确版本的NVIDIA驱动和Docker GPU支持。直接用docker run命令启动，让镜像使用它自带的CUDA环境。
排查问题：如果运行报错，首先仔细阅读错误信息。很多错误是关于“找不到CUDA”或“CUDA版本不匹配”。这时，可以检查镜像的文档或Dockerfile，看它期望的CUDA版本是什么。我们前面安装的CUDA 11.8兼容性很好，能覆盖大多数需求。
终极手段：如果确实需要调整，可以考虑在运行容器时，通过-v参数将宿主机的CUDA目录挂载到容器内，覆盖容器内的版本。但这需要你对镜像内部结构比较了解，一般不建议新手操作。

简单来说，对于大多数用户，完成前面六步的配置后，直接运行星图镜像就能成功。我们的环境工作是为镜像提供一个能够访问GPU的、标准的“底座”。