MedGemma 1.5部署教程：Windows WSL2环境下GPU加速运行MedGemma-1.5-4B-IT

MedGemma 1.5部署教程：Windows WSL2环境下GPU加速运行MedGemma-1.5-4B-IT

1. 教程概述

本教程将手把手教你如何在Windows系统的WSL2环境中，部署和运行Google的MedGemma-1.5-4B-IT医疗AI模型。这是一个完全本地化的医疗问答系统，不需要联网就能使用，特别适合需要保护医疗隐私的场景。

学完本教程，你将能够：

• 在Windows电脑上搭建完整的GPU加速环境
• 一键部署MedGemma医疗AI模型
• 使用这个模型进行医学问答和病理分析
• 看到AI的完整思考过程，理解其诊断逻辑

适合人群：医疗从业者、医学研究者、对医疗AI感兴趣的开发者，即使没有很深的技术背景也能跟着做。

2. 环境准备

2.1 系统要求

在开始之前，请确保你的电脑满足以下要求：

• 操作系统：Windows 10或Windows 11（版本2004或更高）
• 内存：至少16GB RAM（推荐32GB）
• 显卡：NVIDIA显卡，至少8GB显存（RTX 3070或以上更佳）
• 存储空间：至少50GB可用空间（模型文件较大）

2.2 启用WSL2

WSL2（Windows Subsystem for Linux）让我们在Windows上运行Linux环境，这是部署AI模型的理想方式。

打开PowerShell（以管理员身份运行），依次执行以下命令：

# 启用WSL功能 dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart # 启用虚拟机平台功能 dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart # 重启电脑（必须步骤） Restart-Computer

重启后，再次以管理员身份打开PowerShell：

# 设置WSL2为默认版本 wsl --set-default-version 2 # 安装Ubuntu发行版 wsl --install -d Ubuntu-22.04

安装过程中会提示你设置Linux用户名和密码，请记住这个密码，后续会用到。

2.3 安装NVIDIA驱动

要让GPU在WSL2中工作，需要安装正确的NVIDIA驱动：

1. 访问NVIDIA官网下载页面
2. 选择你的显卡型号，下载最新版驱动
3. 安装驱动后重启电脑
4. 验证驱动是否安装成功：

nvidia-smi

如果看到显卡信息，说明驱动安装成功。

3. 部署MedGemma模型

3.1 配置WSL2环境

首先进入WSL2的Ubuntu环境，在Windows开始菜单中搜索"Ubuntu"并打开。

更新系统并安装必要工具：

# 更新软件包列表 sudo apt update && sudo apt upgrade -y # 安装基础工具 sudo apt install -y python3 python3-pip python3-venv git wget curl # 创建项目目录 mkdir -p ~/medgemma-project cd ~/medgemma-project

3.2 安装CUDA工具包

MedGemma需要CUDA来发挥GPU性能：

# 添加NVIDIA包仓库 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb sudo apt update # 安装CUDA工具包 sudo apt install -y cuda-toolkit-12-4 # 验证CUDA安装 nvcc --version

3.3 创建Python虚拟环境

为了避免包冲突，我们创建独立的Python环境：

# 创建虚拟环境 python3 -m venv medgemma-env # 激活环境 source medgemma-env/bin/activate # 安装PyTorch和GPU支持 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 # 安装Transformers库 pip install transformers accelerate sentencepiece

3.4 下载和配置MedGemma模型

现在下载MedGemma模型文件：

# 安装Git LFS（大文件支持） curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt install -y git-lfs git lfs install # 下载模型（这需要一些时间，模型大小约8GB） git clone https://huggingface.co/google/medgemma-1.5-4b-it

4. 运行医疗AI问答系统

4.1 创建启动脚本

创建一个Python脚本来自动化启动过程：

# 创建启动文件 nano medgemma_launch.py

将以下内容复制到文件中：

import torch from transformers import AutoTokenizer, AutoModelForCausalLM import sys # 检查GPU是否可用 device = "cuda" if torch.cuda.is_available() else "cpu" print(f"使用设备: {device}") # 加载模型和分词器 model_path = "./medgemma-1.5-4b-it" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, device_map="auto" ) print("MedGemma模型加载成功！开始问答吧！") # 交互式问答循环 while True: try: # 获取用户输入 question = input("\n🩺 请输入医疗问题（输入'退出'结束）: ") if question.lower() in ['退出', 'exit', 'quit']: break # 构建提示词 prompt = f"<start_of_turn>user\n{question}<end_of_turn>\n<start_of_turn>model\n" # 生成回答 inputs = tokenizer(prompt, return_tensors="pt").to(device) outputs = model.generate( **inputs, max_new_tokens=512, temperature=0.7, do_sample=True, pad_token_id=tokenizer.eos_token_id ) # 解码和显示回答 response = tokenizer.decode(outputs[0], skip_special_tokens=False) response = response.split("<start_of_turn>model\n")[-1].replace("<end_of_turn>", "") print(f"\n💡 AI回答: {response}") except KeyboardInterrupt: print("\n再见！") break except Exception as e: print(f"发生错误: {e}")

保存并退出（按Ctrl+X，然后按Y，最后按Enter）。

4.2 启动医疗AI助手

现在运行这个脚本：

python medgemma_launch.py

第一次运行时会加载模型，这可能需要几分钟时间。加载完成后，你会看到提示符，可以开始提问了。

5. 使用示例和技巧

5.1 基础问答示例

试着问这些问题来测试系统：

什么是糖尿病？ 高血压有哪些症状？ 如何预防心脏病？ 阿司匹林有什么副作用？

你会看到AI不仅给出答案，还会显示它的思考过程（Thinking Process），这是MedGemma的特色功能。

5.2 高级使用技巧

获得更专业回答：

• 使用英文提问往往能得到更专业的回答
• 提供更多上下文信息，如"50岁男性，有吸烟史，最近胸痛"
• 明确要求思考过程："请详细解释你的诊断逻辑"

优化性能：

• 如果显存不足，可以尝试量化模式（减少精度来节省显存）
• 复杂问题可以分步骤提问，而不是一次性问很长的问题

6. 常见问题解决

6.1 显存不足问题

如果遇到CUDA内存错误，可以修改加载方式：

# 修改模型加载代码，使用4位量化 model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, device_map="auto", load_in_4bit=True # 使用4位量化减少显存使用 )

6.2 模型加载慢

第一次加载模型较慢是正常的，后续运行会快很多。你可以将模型缓存到高速SSD上来改善加载速度。

6.3 WSL2网络问题

如果遇到下载问题，可以尝试更换下载源：

# 设置pip清华源 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

7. 总结

通过本教程，你已经成功在Windows WSL2环境中部署了MedGemma-1.5-4B-IT医疗AI模型。这个系统能够：

• 在完全离线的环境下提供医疗问答服务
• 显示AI的完整思考过程，增加回答的可信度
• 保护医疗隐私，所有数据都在本地处理
• 支持中英文混合提问，适合各种使用场景

重要提醒：这个AI助手是基于医学知识训练的辅助工具，它的回答仅供参考，不能替代专业医生的诊断和建议。对于严重的医疗问题，请务必咨询专业医疗机构。

现在你可以开始探索这个强大的医疗AI助手了，试着问它一些医学问题，观察它的思考过程，体验AI在医疗领域的应用潜力。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。