AI医疗入门指南：医学生从零跑通深度学习全流程

AI医疗是很多非计算机背景医学生想进入但不敢进入的方向。真正的门槛不在于CNN的卷积核怎么算，也不在于Transformer的注意力公式怎么推，而在于不知道第一步应该做什么。第一次接触深度学习时，我见过临床医学学生在环境搭建阶段卡住，也见过药学背景同学在搞懂反向传播之前先被各种术语劝退。实际上，如果把AI医疗的入门路径拆成四块——深度学习环境搭建、神经网络基础、卷积神经网络CNN、Transformer——每一块都可以用最小闭环的方式学完。这篇文章适合完全没有编程经验、没学过机器学习、但要进入AI医疗方向的同学。目标不是让你在一天内写出论文级模型，而是让你在一台普通电脑上，从零跑通一个神经网络、一个CNN、一个Transformer的最小示例，并理解每一步在做什么。

1. 非计算机医学生进入AI医疗，第一步不是算法而是定位

1.1 AI医疗的四个常见切入点

很多人以为AI医疗就是“用Python处理医学图像”，实际上这个方向跨度很大。从医学背景出发，你可以先做一次方向盘点，再决定把时间投在哪里。

这几个方向看起来差异很大，但入门第一课完全一样：先具备“数据进入模型、模型输出结果、结果反馈训练”的能力。方向可以后面再定，模型运行闭环必须一开始就掌握。

1.2 入门路线的三个阶段性目标

第一阶段的目标是“环境可用”。能创建虚拟环境，安装PyTorch，知道怎么检查CPU、GPU是否被识别。不要在这个阶段追求理解所有底层依赖，先把工具链跑通。

第二阶段的目标是“模型可跑”。能写出一个最简单的神经网络，理解训练循环中的前向传播、损失计算、反向传播、参数更新。然后分别跑通一个CNN和一个Transformer的最小示例，知道每个网络适合处理什么类型的数据。

第三阶段的目标是“任务可复现”。找一个小型医学相关数据集，哪怕只是二分类，把数据整理成训练集和验证集，完成训练、评估、保存模型和加载模型。达到这个阶段之后，再去看论文、复现开源项目，你会知道代码里每一段在干什么。

1.3 为什么第一步是“跑通一个最小闭环”

医学背景同学的优势是理解临床问题，而不是数学推导。入门阶段如果先去啃卷积公式和注意力机制，很容易失去耐心。更合理的做法是先用一个最小的代码闭环，把“模型训练是什么感觉”建立起来。

所谓最小闭环，就是输入一个矩阵，交给模型，得到预测结果，计算损失，再通过反向传播更新参数。整个过程可以控制在20行代码以内。你先不需要完全理解反向传播的数学细节，只需要观察训练日志里的loss在下降。这个反馈本身，比很多理论讲解更有价值。

在真正的AI医疗项目里，你会遇到比随机数据复杂得多的情况，但核心训练回路始终不变。先把这一步跑通，后面遇到问题时，你会有明确的排查方向：是数据问题、模型问题，还是环境问题。

2. 深度学习环境搭建：以PyTorch为例

2.1 选型：PyTorch还是TensorFlow

医学AI相关的论文和开源代码里，PyTorch的占比更高。对初学者来说，选PyTorch不是因为TensorFlow不好，而是因为你在搜索问题和复制现成代码时，能更容易找到匹配的博客、Issue和教程。

入门阶段不需要在框架上纠结太多。选PyTorch，跑通最小示例，后期如果项目需要，再学迁移也不难。

2.2 环境准备：Windows、Linux、Mac怎么选

Windows是很多医学本科生最常见的系统，完全可以本机安装Anaconda或Miniconda，然后在里面创建虚拟环境。如果电脑没有NVIDIA独立显卡，先用CPU跑通示例，不需要一开始就购买GPU云资源。深度学习入门阶段的数据量和模型规模都很小，CPU训练虽然慢一些，但足够验证代码逻辑。

Linux服务器更适合后续跑真实数据集，但新手如果对命令行不熟悉，不建议第一周就直接切到Linux。先用一个自己能掌控的系统，减少环境层面的额外干扰。

Mac电脑需要注意，M系列芯片可以使用CPU或MPS加速，但很多第三方库可能依赖CUDA，需要额外确认。入门阶段同样可以先使用CPU环境。

2.3 创建虚拟环境并安装PyTorch

在终端或Anaconda Prompt里依次执行以下命令：

# 检查Python版本，确保已安装conda conda --version # 创建虚拟环境，名字可以自己取 conda create -n ai_med python=3.10 -y # 激活虚拟环境 conda activate ai_med # 安装CPU版本的torch和torchvision pip install torch torchvision

这段命令解决的是环境隔离问题。不要把项目依赖直接装到系统Python里，否则后面安装不同版本包时，很容易出现“这个项目需要A版本，另一个项目需要B版本”的冲突。用conda虚拟环境隔离，每个项目拥有独立的Python版本和包环境。

如果本机有NVIDIA GPU，则需要到PyTorch官网根据CUDA版本复制对应的安装命令。不要凭记忆写torch和cu118这样的组合，因为不同PyTorch版本对CUDA Driver的要求不同。安装前先运行：

nvidia-smi

查看GPU驱动支持的CUDA版本，再按官网提示安装。

如果你的网络下载速度较慢，可以临时使用清华PyPI镜像：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

镜像只解决下载速度问题，不会改变安装包的来源和功能。

2.4 验证安装是否成功

安装完成后，运行以下Python代码：

import torch print(torch.__version__) print(torch.cuda.is_available()) if torch.cuda.is_available(): print(torch.cuda.get_device_name(0)) else: print("当前使用CPU训练")

如果输出类似：

2.5.0 True NVIDIA GeForce RTX 3060

说明PyTorch已安装成功，并且CUDA可用。

如果输出：

2.5.0 False

说明PyTorch能运行，但当前安装的是CPU版本，或CUDA驱动没有正确匹配。先不用焦虑，CPU环境也可以完成后续所有最小示例。

2.5 学习环境与生产环境的差异

入门时最容易忽略的一点是：学习环境只要能跑通代码就够了，生产环境则要额外考虑稳定性、权限、日志、监控和回滚。

所以建议入门阶段只追求“代码能跑”，但心里要明白：真实项目里还需要补很多工程环节。

3. 神经网络基础：先建立直觉再读公式

3.1 神经元、权重、激活函数

神经网络的本质是一个带参数的函数。输入是一组数值，输出是另一组数值。中间参数学到的是从输入到输出的映射关系。

一个最简单的神经元做的事情是：把输入和权重做乘法，加上偏置，再经过一个激活函数。激活函数的作用是引入非线性。如果没有非线性，网络层数再多，数学上等价于一层线性变换，表达能力会非常有限。

医学场景里，输入可能是图像的像素值、病历文本的token向量，也可能是心电信号的波形片段。无论输入是什么，最终都要转换成数值张量，再交给神经网络。

3.2 损失函数与反向传播

模型输出后，需要一个指标衡量“当前输出和正确标签差多少”，这个指标就是损失函数。分类任务常用交叉熵损失，回归任务常用均方误差。

得到损失值之后，网络需要更新参数，让损失下降。这个过程依赖反向传播：从损失出发，按照链式法则计算每个参数对损失的梯度，然后使用优化器更新参数。

参数更新公式可以暂时理解为：

新参数 = 旧参数 - 学习率 * 梯度

学习率决定每次更新走多大步。太大容易震荡，太小收敛很慢。入门阶段先用0.001到0.01之间的常见值，再看loss曲线调整。

3.3 用代码看一个最小神经网络训练过程

下面代码使用随机数据模拟一个三分类任务，输入64个样本，每个样本20个特征，标签是0到2之间的整数：

import torch import torch.nn as nn torch.manual_seed(42) x = torch.randn(64, 20) # 64个样本，每个样本20个特征 y = torch.randint(0, 3, (64,)) # 64个标签，共3类 model = nn.Sequential( nn.Linear(20, 32), nn.ReLU(), nn.Linear(32, 3) ) loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.01) for epoch in range(20): out = model(x) loss = loss_fn(out, y) optimizer.zero_grad() loss.backward() optimizer.step() print(f"epoch {epoch + 1}, loss: {loss.item():.4f}")

这段代码包含了训练循环的五个关键步骤：

• model(x)是前向传播。
• loss_fn计算预测和真实标签的差距。
• optimizer.zero_grad()清空上一次留下的梯度。
• loss.backward()计算当前梯度。
• optimizer.step()用梯度更新参数。

运行后，会看到loss逐渐下降，比如从1.05降到0.4左右。虽然这是随机数据，没有任何医学意义，但训练循环本身是完全标准的。

这里有一个容易误解的地方：CrossEntropyLoss内部会自动处理标签的one-hot编码过程，所以标签只需要传整数张量，不需要手动做One-Hot。

3.4 三个关键参数的含义

入门阶段建议固定随机种子，确认结果可复现，然后再去调参。

4. 卷积神经网络CNN：处理医学图像的第一选择

4.1 卷积为什么适合图像

图像和普通表格数据不同，二维像素之间存在空间关系。一个肺结节是否恶性，不能只看单点像素，还要看它周围的纹理、边缘和形态。如果把图像拉平成全连接网络，参数会爆炸，而且会丢失局部结构。

CNN通过卷积核在图像上滑动，每次只观察一个小邻域，提取局部特征。多个卷积层叠加，就能从边缘、纹理等低级特征，逐步组合成器官、病灶等级别的高级特征。

卷积层常用参数包括：kernel_size卷积核大小、padding边缘填充、stride步长。padding=1通常用来保持输出尺寸不变，kernel_size=3是最常见的选择。

4.2 一个可运行的最小CNN分类器

下面代码用随机图像数据模拟64张单通道32x32的医学影像，做二分类：

import torch import torch.nn as nn torch.manual_seed(42) x = torch.randn(64, 1, 32, 32) y = torch.randint(0, 2, (64,)) class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.features = nn.Sequential( nn.Conv2d(1, 16, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier = nn.Sequential( nn.Flatten(), nn.Linear(32 * 8 * 8, 64), nn.ReLU(), nn.Linear(64, 2) ) def forward(self, x): x = self.features(x) x = self.classifier(x) return x model = SimpleCNN() loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(5): out = model(x) loss = loss_fn(out, y) optimizer.zero_grad() loss.backward() optimizer.step() print(f"epoch {epoch + 1}, loss: {loss.item():.4f}")

数据形状变化是这样的：

• 输入：(64, 1, 32, 32)，64张图，1个通道，宽高都是32。
• 第一次卷积加padding后，尺寸保持32x32。
• 第一次池化后变成16x16。
• 第二次卷积后仍然16x16。
• 第二次池化后变成8x8，通道数变成32。
• 输入全连接层前展平，得到32*8*8维向量。

nn.MaxPool2d(2)把特征图宽高各缩一半，降低计算量，同时保留主要特征。医学图像中病灶大小差异很大，池化层能帮助模型对位置变化更鲁棒。

4.3 CNN训练输出怎么看

运行上面的代码，loss会从接近0.7降到0.5左右。如果loss下降太慢，可以先增大学习率，或增加训练轮数。如果loss变成nan，通常说明学习率过大。

实际医学影像中，一张图往往不是单通道，而是RGB三通道，或者CT等灰度图以单通道保存。使用公开数据集时，要注意图像读取方式，例如jpg解码后可能是三通道，而一些医学格式如.nii保存的是三维体数据，不能直接用二维CNN处理。

CNN除了二维卷积，还有一维卷积和三维卷积。一维卷积适合心电、脑电等时序信号，三维卷积适合CT、MRI这类立体影像。入门阶段先掌握二维CNN，理解核心机制后再扩展。

5. Transformer入门：从框架到最小编码器

5.1 为什么医学AI也需要Transformer

CNN在图像局部特征提取上很强，但它要看到图像的全局关系，需要堆很深的层。Transformer最初用于自然语言处理，核心思想是让序列中每个位置都直接和所有其他位置计算相关性，因此能建模长距离依赖。

在医学场景里，Transformer至少有两个典型用途：一是处理医学文本，比如电子病历中的主诉、现病史、诊断结论；二是处理影像，方法是把图像切成一连串patch，再当作序列输入Transformer，这就是Vision Transformer（ViT）的基本思路。Swin Transformer等变体进一步优化了图像局部信息，是进阶内容。

入门阶段不需要直接复现ViT，先理解Transformer编码器如何使用即可。

5.2 核心概念：注意力机制、位置编码

注意力机制可以通俗地理解为：在处理当前内容时，给序列中其他位置分配不同权重。比如阅读病历中“患者咳嗽三天”时，模型可能需要重点关注“咳嗽”和“三天”，而不是“患者”两个字。

因为Transformer本身不包含顺序信息，所以需要在输入中加入位置编码，告诉模型每个token在序列中的位置。PyTorch的TransformerEncoderLayer内部已经实现了这部分，初学阶段不需要自己写位置编码公式。

5.3 用PyTorch实现一个最小Transformer编码器分类

下面代码模拟一个文本分类任务：32个样本，每个样本是长度10的序列，每个位置用16维向量表示，做二分类。

import torch import torch.nn as nn torch.manual_seed(42) x = torch.randn(32, 10, 16) # 32个样本，序列长度10，每个位置16维 y = torch.randint(0, 2, (32,)) class SimpleTransformer(nn.Module): def __init__(self): super().__init__() self.encoder = nn.TransformerEncoder( nn.TransformerEncoderLayer( d_model=16, nhead=4, batch_first=True ), num_layers=2 ) self.classifier = nn.Sequential( nn.Flatten(), nn.Linear(10 * 16, 64), nn.ReLU(), nn.Linear(64, 2) ) def forward(self, x): x = self.encoder(x) return self.classifier(x) model = SimpleTransformer() loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(5): out = model(x) loss = loss_fn(out, y) optimizer.zero_grad() loss.backward() optimizer.step() print(f"epoch {epoch + 1}, loss: {loss.item():.4f}")

要注意几个配置：d_model是每个位置的特征维度，必须能被nhead整除，这里16除以4等于4。batch_first=True表示输入形状是(batch, seq_len, d_model)，不设置时默认是(seq_len, batch, d_model)，新手很容易在这里报维度错误。

运行这个例子，loss会逐渐下降，说明Transformer编码器确实在从序列中学习信息。你可以尝试把num_layers从2改成3，或者把nhead改成2，观察loss变化。

5.4 CNN与Transformer对比

在实际项目中，CNN和Transformer不是互斥的。很多医学AI模型会先用CNN提取图像特征，再把特征序列输入Transformer进行全局建模。入门阶段先把两者分开跑通，再考虑组合。

6. 从入门到第一个医学AI小项目：组织数据、训练、验证

6.1 选一个可获得的医学小数据集

不要一开始就挑战多分类、多标签、大尺寸影像。入门项目建议选择二分类问题，比如肺纹理是否异常、皮肤镜图像是良性还是恶性、病理图片是正常还是异常。数据规模可以很小，几百张到一两千张都够开始。

数据目录建议这样组织：

data/ train/ normal/ disease/ val/ normal/ disease/

这种结构的好处是可以用torchvision.datasets.ImageFolder直接读取，省去手写数据加载逻辑。在使用前，先检查图片尺寸是否一致，是否混入了非图片文件。

6.2 用ImageFolder读取本地医学图像

from torchvision import datasets, transforms from torch.utils.data import DataLoader transform = transforms.Compose([ transforms.Resize((128, 128)), transforms.RandomHorizontalFlip(), transforms.ToTensor(), ]) train_data = datasets.ImageFolder("data/train", transform=transform) val_data = datasets.ImageFolder("data/val", transform=transform) train_loader = DataLoader(train_data, batch_size=16, shuffle=True) val_loader = DataLoader(val_data, batch_size=16, shuffle=False) print(train_data.classes)

Resize把图片统一到固定大小，RandomHorizontalFlip做简单的数据增强，ToTensor把PIL图像转成Tensor，并把像素值从0到255缩放到0到1。

这里要注意，训练集和验证集的预处理不能完全一样。验证集不应该做随机翻转、随机旋转等增强，否则评估结果会被数据增强噪声干扰。

6.3 训练、评估和保存模型

训练循环和前面CNN示例基本一致，但需要多一步：每个epoch结束后在验证集上计算准确率。保存模型时，推荐只保存state_dict：

torch.save(model.state_dict(), "model.pth")

加载模型时，需要先重新创建模型结构，再加载参数：

model = SimpleCNN() model.load_state_dict(torch.load("model.pth", map_location="cpu")) model.eval()

model.eval()会让Dropout和BatchNorm进入推理模式，不能省略。否则同样一份参数，训练和验证时输出可能不一致。

验证指标不建议只看准确率。医学数据经常存在类别不平衡，比如正常样本远多于异常样本，这时一个“永远预测正常”的模型也可能有很高准确率，却完全没有诊断价值。至少要看混淆矩阵、精确率、召回率和F1分数：

from sklearn.metrics import classification_report, confusion_matrix y_true = [] y_pred = [] with torch.no_grad(): for images, labels in val_loader: out = model(images) pred = out.argmax(dim=1) y_true.extend(labels.tolist()) y_pred.extend(pred.tolist()) print(confusion_matrix(y_true, y_pred)) print(classification_report(y_true, y_pred, target_names=val_data.classes))

医疗场景里，异常类别的召回率往往比整体准确率更重要。漏诊一个病灶的代价通常比误报更高，所以评估模型时要特别关注“我们最关心的那一类”表现如何。

7. 常见问题排查

7.1 环境与依赖排查表

7.2 排查顺序

遇到任何报错，建议按以下顺序排查：

1. 输入是否正确。先打印x.shape、y.shape和y.dtype。
2. 文件路径是否正确。datasets.ImageFolder读取不到数据时，先检查目录结构。
3. 版本是否匹配。PyTorch、torchvision、Python版本之间有没有已知冲突。
4. 配置是否生效。虚拟环境是否激活，安装是否装到了当前环境。
5. 日志是否明确。是否出现CUDA error、RuntimeError、KeyError等关键词。
6. 根据关键词搜索时，注意先看发布时间，避免被旧版本方案误导。

7.3 入门阶段最容易踩的三个坑

第一个坑是在还没有GPU的电脑上强行安装CUDA版本PyTorch。安装后虽然不报错，但torch.cuda.is_available()仍然是False。建议先确认硬件，再决定安装版本。

第二个坑是忘记切换conda环境。在新终端窗口运行Python时，经常出现“明明安装了包，import却报ModuleNotFoundError”。运行conda env list确认当前环境，并使用conda activate ai_med。

第三个坑是模型输入输出维度对不上。CNN和Transformer代码里，Linear层输入维度必须与上一层展平结果一致。出现维度报错时，最快的方法是临时在forward里加一句print(x.shape)，看清实际形状再修改。

8. 最佳实践与下一步学习路径

8.1 非计算机医学生的高效学习顺序

建议把学习顺序固定为：环境搭建、最小神经网络、CNN、Transformer、小型医学项目。不要跳步，也不要一上来就复现Swin Transformer或医疗大模型。

这个节奏不需要每天投入大量时间，但要求每次练习都完整跑通，并且把过程和结果记录到自己的笔记里。

8.2 适合医学生的实操习惯

固定随机种子。训练结果不稳定时，先排除随机性因素，再检查数据和模型结构。每次修改代码前，把当前版本复制保存。

数据先小后大。先用几十张图片把模型跑通，再逐步增加数据量。不要第一次训练就直接塞几千张图片，出现问题很难定位。

实验只用几行配置。把数据路径、学习率、batch size、epoch、模型保存路径写在一个字典里，避免每次都修改代码主体。

保存模型时带上说明。用文件名记录数据集和关键参数，比如model_pneumonia_lr3e4_batch16.pth，比单纯的model.pth好管理得多。

训练阶段默认使用fp32。不要在入门阶段考虑fp16、bf16、tf32这些混合精度优化。部署阶段再学习这些浮点数格式，才能理解为什么模型推理会变快、精度会有细微变化。

8.3 什么时候可以转向真实医疗项目

当你能够独立完成“读取本地数据、训练模型、在验证集上评估、保存和加载模型、解释CNN和Transformer的基本区别”时，就可以开始接触真实医学A I项目了。

下一步的方向可以根据自己的专业背景选择：临床背景同学优先尝试医学影像分类或分割任务，药学背景可以看分子表示和药物性质预测，公共卫生背景可以关注医疗数据分析和时序预测。无论选择哪个方向，都要记住一点：在AI医疗里，模型只是工具，可靠的标注、合理的任务定义和严格的医学评测才是更重要的部分。

如果要在CSDN或其他技术博客上继续深入学习，建议每跑通一个示例就写一篇记录。不要只记“成功了”，要把错误日志、排查过程、最终命令都写下来。这样过两个月再回来看，你会发现自己已经能识别很多入门阶段完全不懂的细节。