用Python从零实现感知器算法：手把手教你用NumPy和Matplotlib画决策边界

用Python从零实现感知器算法：手把手教你用NumPy和Matplotlib画决策边界

在机器学习领域，感知器算法就像是一把打开模式识别大门的钥匙。1957年由Frank Rosenblatt提出的这个简单却强大的概念，至今仍是理解神经网络的基础。不同于直接调用scikit-learn的黑箱操作，本文将带你从数学原理出发，用纯Python实现这个经典算法，并可视化其学习过程——这不仅能加深对线性分类的理解，更为后续学习复杂模型打下坚实基础。

1. 环境准备与数据理解

实现感知器算法前，我们需要配置合适的开发环境。推荐使用Python 3.8+版本，并安装以下核心库：

pip install numpy matplotlib

Iris数据集是机器学习领域的"Hello World"，特别适合二元分类任务。我们只取前两个特征（花萼长度和宽度）和两个类别（Setosa和Versicolor）来简化问题：

import numpy as np from sklearn import datasets iris = datasets.load_iris() X = iris.data[:100, :2] # 只取前100个样本和前两个特征 y = iris.target[:100] # 对应的类别标签

数据可视化是理解问题的第一步。用Matplotlib绘制散点图可以直观看到数据的线性可分性：

import matplotlib.pyplot as plt plt.figure(figsize=(8, 6)) plt.scatter(X[y==0, 0], X[y==0, 1], color='red', label='Setosa') plt.scatter(X[y==1, 0], X[y==1, 1], color='blue', label='Versicolor') plt.xlabel('Sepal Length') plt.ylabel('Sepal Width') plt.legend() plt.show()

注意：如果图形显示两类样本明显分离，说明数据可能线性可分，这是感知器收敛的前提条件。

2. 感知器算法核心实现

2.1 数学原理拆解

感知器的决策函数可以表示为：

$$ f(x) = \begin{cases} 1 & \text{if } w \cdot x + b > 0 \ -1 & \text{otherwise} \end{cases} $$

其中：

• $w$是权重向量
• $b$是偏置项
• $x$是输入特征向量

为简化计算，通常将偏置$b$并入权重向量，即在特征向量前添加常数1：

X_augmented = np.insert(X, 0, 1, axis=1) # 添加偏置列

2.2 训练过程实现

感知器的训练遵循简单的规则：对于误分类样本，按学习率调整权重：

def train_perceptron(X, y, learning_rate=0.1, max_epochs=100): # 初始化权重（包括偏置项） weights = np.random.rand(X.shape[1]) for epoch in range(max_epochs): errors = 0 for xi, target in zip(X, y): # 预测类别（使用阶跃函数） prediction = np.where(np.dot(weights, xi) >= 0, 1, 0) # 更新规则 update = learning_rate * (target - prediction) weights += update * xi # 统计错误 errors += int(update != 0.0) # 提前停止条件 if errors == 0: break return weights

提示：学习率(learning_rate)控制权重更新幅度，太大可能导致震荡，太小则收敛缓慢。

3. 决策边界可视化

训练完成后，我们需要直观展示模型的分类能力。决策边界是特征空间中将不同类别分开的超平面。

3.1 计算边界方程

对于二维特征空间，决策边界是直线，其方程可表示为：

$$ w_0 + w_1x_1 + w_2x_2 = 0 \ \Rightarrow x_2 = -\frac{w_1}{w_2}x_1 - \frac{w_0}{w_2} $$

3.2 动态绘制实现

下面的代码不仅展示最终结果，还呈现训练过程中决策边界的变化：

def plot_decision_boundary(weights, X, y, epoch=None): # 确定绘图范围 x_min, x_max = X[:, 1].min() - 1, X[:, 1].max() + 1 y_min, y_max = X[:, 2].min() - 1, X[:, 2].max() + 1 # 生成网格点 xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.01), np.arange(y_min, y_max, 0.01)) # 计算决策值 Z = weights[0] + weights[1]*xx + weights[2]*yy Z = np.where(Z >= 0, 1, 0) # 绘制结果 plt.contourf(xx, yy, Z, alpha=0.3, cmap=plt.cm.Paired) plt.scatter(X[y==0, 1], X[y==0, 2], color='red', label='Setosa') plt.scatter(X[y==1, 1], X[y==1, 2], color='blue', label='Versicolor') # 绘制决策边界线 boundary_x = np.array([x_min, x_max]) boundary_y = (-weights[0] - weights[1]*boundary_x) / weights[2] plt.plot(boundary_x, boundary_y, 'k--', linewidth=2) plt.xlabel('Sepal Length') plt.ylabel('Sepal Width') if epoch is not None: plt.title(f'Epoch {epoch}') plt.legend() plt.show()

4. 进阶优化与调试

4.1 特征标准化

不同特征尺度差异大会影响感知器的收敛速度。标准化使特征具有零均值和单位方差：

def standardize(X): mean = np.mean(X, axis=0) std = np.std(X, axis=0) return (X - mean) / std X_std = standardize(X[:, :2]) X_std_augmented = np.insert(X_std, 0, 1, axis=1)

4.2 学习率调度

固定学习率可能不是最优选择。实现简单的时间衰减策略：

def adaptive_learning_rate(initial_rate, epoch, decay_rate=0.01): return initial_rate * (1. / (1. + decay_rate * epoch))

4.3 训练过程可视化

将权重更新和错误率变化动态展示：

def train_with_visualization(X, y, initial_learning_rate=0.1, max_epochs=50): weights = np.random.randn(X.shape[1]) error_rates = [] for epoch in range(max_epochs): errors = 0 current_lr = adaptive_learning_rate(initial_learning_rate, epoch) for xi, target in zip(X, y): prediction = np.where(np.dot(weights, xi) >= 0, 1, 0) update = current_lr * (target - prediction) weights += update * xi errors += int(update != 0.0) error_rate = errors / len(y) error_rates.append(error_rate) # 每5个epoch绘制一次 if epoch % 5 == 0: plot_decision_boundary(weights, X, y, epoch) if errors == 0: break # 绘制错误率曲线 plt.plot(range(len(error_rates)), error_rates) plt.xlabel('Epoch') plt.ylabel('Error Rate') plt.title('Training Progress') plt.show() return weights

5. 实际应用中的注意事项

虽然感知器简单有效，但在实际项目中需要注意以下几点：

• 线性可分性检查：通过可视化或PCA等方法确认数据是否近似线性可分
• 学习率选择：可以从0.01开始尝试，观察收敛情况
• 迭代次数监控：设置合理的max_epochs并观察早停条件
• 随机初始化影响：多次运行比较结果稳定性
• 特征工程：有时添加多项式特征可以提高线性可分性

以下是一个简单的线性可分性检查函数：

def check_linear_separability(X, y, trials=100): separable = True for _ in range(trials): weights = np.random.randn(X.shape[1]) try: trained_weights = train_perceptron(X, y, max_epochs=1000) predictions = np.where(X.dot(trained_weights) >= 0, 1, 0) if not np.all(predictions == y): separable = False break except: separable = False break return separable

在真实项目中遇到线性不可分数据时，可以考虑以下替代方案：