千问3.5-2B在WSL2环境下的高效部署与开发教程

千问3.5-2B在WSL2环境下的高效部署与开发教程

1. 引言

想在Windows系统上体验Linux开发环境，同时运行千问3.5-2B这样的AI大模型？WSL2（Windows Subsystem for Linux 2）提供了一个完美的解决方案。本教程将带你从零开始，在WSL2中搭建完整的开发环境，快速部署和运行千问3.5-2B模型。

用WSL2的好处很明显：既保留了Windows的易用性，又能享受Linux的开发体验，还能直接调用GPU资源。整个过程大概需要30-60分钟，跟着步骤走，即使你是WSL新手也能顺利完成。

2. 环境准备

2.1 系统要求

在开始之前，请确保你的Windows系统满足以下最低要求：

• Windows 10版本2004或更高（建议Windows 11）
• 至少16GB内存（32GB更佳）
• NVIDIA显卡（支持CUDA 11.7+）
• 50GB可用磁盘空间

2.2 启用WSL2功能

首先需要在Windows中启用WSL2功能：

1. 以管理员身份打开PowerShell
2. 运行以下命令启用WSL功能：

   dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

3. 启用虚拟机平台功能：

   dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

4. 重启电脑

2.3 安装Ubuntu发行版

1. 打开Microsoft Store，搜索"Ubuntu"
2. 选择Ubuntu 22.04 LTS版本并安装
3. 安装完成后，从开始菜单启动Ubuntu
4. 首次启动时会提示创建用户名和密码

3. WSL2环境配置

3.1 设置WSL2为默认版本

在PowerShell中运行：

wsl --set-default-version 2

3.2 安装NVIDIA驱动

1. 从NVIDIA官网下载并安装最新显卡驱动
2. 安装完成后，在PowerShell中验证：

   nvidia-smi

   应该能看到显卡信息

3.3 安装CUDA Toolkit

在Ubuntu终端中执行：

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda-repo-wsl-ubuntu-12-2-local_12.2.2-1_amd64.deb sudo dpkg -i cuda-repo-wsl-ubuntu-12-2-local_12.2.2-1_amd64.deb sudo cp /var/cuda-repo-wsl-ubuntu-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda

3.4 安装Docker

1. 更新软件包索引：

   sudo apt-get update

2. 安装依赖：

   sudo apt-get install ca-certificates curl gnupg

3. 添加Docker官方GPG密钥：

   sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod a+r /etc/apt/keyrings/docker.gpg

4. 设置存储库：

   echo \ "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

5. 安装Docker引擎：

   sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

6. 验证安装：

   sudo docker run hello-world

4. 部署千问3.5-2B模型

4.1 拉取模型镜像

在Ubuntu终端中运行：

sudo docker pull registry.cn-hangzhou.aliyuncs.com/qwen/qwen:3.5-2b-cu117

4.2 启动模型容器

使用以下命令启动容器：

sudo docker run -it --gpus all -p 8000:8000 registry.cn-hangzhou.aliyuncs.com/qwen/qwen:3.5-2b-cu117

参数说明：

• --gpus all：启用GPU支持
• -p 8000:8000：将容器内的8000端口映射到主机的8000端口

4.3 验证模型运行

容器启动后，会自动加载模型。加载完成后，你可以通过以下方式测试：

1. 在容器内直接输入问题与模型交互
2. 或者在本地浏览器访问http://localhost:8000（如果镜像提供了Web界面）

5. VS Code远程开发配置

5.1 安装Remote-WSL扩展

1. 打开VS Code
2. 进入扩展市场，搜索"Remote - WSL"并安装

5.2 连接到WSL环境

1. 点击VS Code左下角的绿色"><"图标
2. 选择"New WSL Window"
3. 选择已安装的Ubuntu发行版

5.3 在WSL中开发

连接成功后，你可以在VS Code中：

• 直接编辑WSL中的文件
• 使用终端运行命令
• 调试运行在WSL中的程序

6. 常见问题解决

6.1 GPU不可用问题

如果遇到GPU不可用的情况，尝试：

sudo apt-get install nvidia-cuda-toolkit sudo nvidia-modprobe -u -c=0

6.2 Docker权限问题

为避免每次使用docker都要加sudo：

sudo groupadd docker sudo usermod -aG docker $USER newgrp docker

6.3 内存不足问题

如果模型加载时内存不足，可以：

1. 增加WSL2内存限制
2. 在Windows用户目录下创建.wslconfig文件，内容为：

   [wsl2] memory=16GB swap=8GB

7. 总结

通过本教程，我们成功在WSL2环境中搭建了完整的AI开发环境，并部署了千问3.5-2B模型。整个过程虽然步骤不少，但每一步都很明确，跟着走基本不会遇到太大问题。

WSL2的优势在这里体现得很明显：既保留了Windows的易用性，又能享受Linux的开发体验，还能直接调用GPU资源。对于需要在Windows环境下进行AI开发的用户来说，这套方案非常实用。

如果你在实践过程中遇到任何问题，建议先检查各组件版本是否匹配，特别是CUDA和显卡驱动的版本。大多数问题都能通过更新组件或调整配置解决。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。