当前位置：首页 > news >正文

Wan2.1 VAE数据预处理实战：Python爬虫采集的训练数据清洗

news 2026/8/8 22:02:50

Wan2.1 VAE数据预处理实战：Python爬虫采集的训练数据清洗

如果你对Wan2.1 VAE模型感兴趣，想用自己的图片集来训练它，那么你很可能已经遇到了第一个，也是最关键的一个难题：数据从哪里来？又该怎么处理？

直接从网上下载的图片五花八门，有水印、尺寸不一、质量参差不齐，直接丢给模型训练，效果往往不尽如人意。今天，我就来分享一套从零开始的实战流程，核心就是用Python爬虫从公开资源里“抓”来初始图片，再用OpenCV等工具进行自动化清洗，最终打造一份干净、统一的高质量训练数据集。整个过程，就像是为模型准备一份精心烹饪的食材。

1. 为什么数据预处理如此关键？

在开始动手之前，我们得先明白，为什么不能随便找些图片就开始训练。Wan2.1 VAE这类模型，它的学习能力很大程度上依赖于你喂给它的数据。杂乱无章的数据，就像让一个学生同时看十本不同语言、不同字体的书，他很难提炼出清晰、一致的知识。

具体来说，未经处理的原始数据会带来几个大问题：

噪声干扰：图片上的水印、无关的Logo、边框等，会被模型误认为是需要学习的特征，导致生成图片时出现奇怪的污点或图案。
尺度混乱：图片尺寸、长宽比不一致，模型需要额外“脑补”缺失的部分或压缩信息，这会影响它学习到的特征分布的稳定性。
质量低下：模糊、过暗、过亮的图片会提供错误或微弱的信息，拉低整体数据集的“教学水平”。
内容不一致：如果你的目标是训练一个生成“猫”的模型，但数据里混入了很多狗或风景图，模型学到的概念就会变得模糊不清。

所以，数据预处理的目的，就是为模型创造一个干净、一致、高质量的学习环境。我们接下来的工作，就是围绕“采集”和“清洗”这两个核心环节展开。

2. 第一步：用Python爬虫定向采集图像

首先，我们需要一个图片的来源。这里必须强调，务必遵守目标网站的robots.txt协议，尊重版权，仅从允许爬取或开放授权的公开资源获取数据。我们的目标是构建一个用于学习和技术研究的私人数据集。

假设我们想收集某一类特定风格的风景画。我们可以使用requests和BeautifulSoup库来编写一个简单的爬虫。这里以某个图片分享网站为例（实际操作中请替换为合规的网站）。

import requests from bs4 import BeautifulSoup import time import os def fetch_images_from_web(keyword, max_images=50, save_dir='./raw_images'): """ 从网页搜索关键词并下载图片 :param keyword: 搜索关键词 :param max_images: 最大下载数量 :param save_dir: 原始图片保存目录 """ # 创建保存目录 os.makedirs(save_dir, exist_ok=True) # 模拟搜索URL（此处为示例，需根据实际网站结构修改） search_url = f"https://example.com/search?q={keyword}" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } try: response = requests.get(search_url, headers=headers, timeout=10) response.raise_for_status() except requests.RequestException as e: print(f"请求失败: {e}") return soup = BeautifulSoup(response.text, 'html.parser') # 假设图片链接在img标签的'src'属性里，具体需要分析网页结构 img_tags = soup.find_all('img', limit=max_images) downloaded = 0 for i, img_tag in enumerate(img_tags): img_url = img_tag.get('src') # 处理可能的相对路径 if img_url and img_url.startswith('//'): img_url = 'https:' + img_url elif img_url and img_url.startswith('/'): img_url = 'https://example.com' + img_url if img_url and (img_url.endswith('.jpg') or img_url.endswith('.png')): try: img_data = requests.get(img_url, headers=headers, timeout=10).content # 生成文件名 file_name = os.path.join(save_dir, f"{keyword}_{downloaded:04d}.jpg") with open(file_name, 'wb') as f: f.write(img_data) downloaded += 1 print(f"已下载: {file_name}") time.sleep(0.5) # 礼貌性延迟，避免对服务器造成压力 if downloaded >= max_images: break except Exception as e: print(f"下载失败 {img_url}: {e}") print(f"下载完成，共获取 {downloaded} 张图片。") # 使用示例：下载“水墨山水”相关图片 fetch_images_from_web('水墨山水', max_images=30)

这段代码跑完，你的raw_images文件夹里就会有一批最原始的图片素材了。但这只是开始，它们还远不能用于训练。

3. 第二步：构建自动化数据清洗流水线

现在，我们得到了一个“毛坯”图片库。接下来，我们用OpenCV和PIL（Python Imaging Library）等工具，搭建一个清洗流水线。这个流水线会依次处理以下几个关键问题。

3.1 统一尺寸与长宽比

VAE模型通常要求输入图片尺寸固定（如256x256）。我们需要将图片缩放并裁剪或填充到目标尺寸。

import cv2 import numpy as np from PIL import Image import os def resize_and_center_crop(image, target_size=(256, 256)): """ 将图像缩放并中心裁剪到目标尺寸 :param image: OpenCV读取的图像 (numpy数组) :param target_size: 目标(宽，高) :return: 处理后的图像 """ h, w = image.shape[:2] target_w, target_h = target_size # 计算缩放比例，使短边匹配目标尺寸 scale = max(target_w / w, target_h / h) new_w, new_h = int(w * scale), int(h * scale) resized = cv2.resize(image, (new_w, new_h), interpolation=cv2.INTER_AREA) # 中心裁剪 start_x = (new_w - target_w) // 2 start_y = (new_h - target_h) // 2 cropped = resized[start_y:start_y+target_h, start_x:start_x+target_w] return cropped def process_image_size(input_path, output_path, target_size=(256, 256)): """处理单张图片尺寸""" img = cv2.imread(input_path) if img is None: print(f"无法读取图片: {input_path}") return False processed_img = resize_and_center_crop(img, target_size) cv2.imwrite(output_path, processed_img) return True

3.2 智能去除水印与无关元素

简单的水印（位于固定位置、颜色与背景差异大）可以通过颜色阈值或模板匹配来尝试去除。但复杂水印的完美去除是个难题，这里展示一个基于颜色范围的简单过滤方法，更复杂的可能需要用到深度学习模型。

def remove_light_watermark_by_color(image, lower_bound=np.array([200, 200, 200]), upper_bound=np.array([255, 255, 255])): """ 尝试去除浅色水印（基于颜色范围）。这是一个简单示例，效果有限。 :param image: BGR格式图像 :param lower_bound: 水印颜色下限 (B, G, R) :param upper_bound: 水印颜色上限 (B, G, R) :return: 处理后的图像 """ # 创建颜色掩膜 mask = cv2.inRange(image, lower_bound, upper_bound) # 对掩膜区域进行膨胀，确保覆盖水印边缘 kernel = np.ones((3,3), np.uint8) mask = cv2.dilate(mask, kernel, iterations=1) # 使用图像修复算法（需要将mask取反，因为inpaint处理的是掩膜非零区域） mask_inv = cv2.bitwise_not(mask) # 只对大面积浅色区域进行修复，避免破坏高光等正常部分 if np.sum(mask) / mask.size > 0.01: # 如果浅色区域面积超过1% result = cv2.inpaint(image, mask_inv, inpaintRadius=3, flags=cv2.INPAINT_TELEA) return result return image

3.3 过滤低质量图片

我们可以通过一些图像统计指标来过滤掉模糊、过暗或过亮的图片。

def calculate_image_sharpness(image): """使用拉普拉斯方差计算图像清晰度，值越高越清晰""" gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) return cv2.Laplacian(gray, cv2.CV_64F).var() def calculate_brightness(image): """计算图像平均亮度""" hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV) return np.mean(hsv[:,:,2]) def is_high_quality(image, sharpness_threshold=100, brightness_low=30, brightness_high=220): """ 综合判断图片质量 :return: True 如果图片质量合格 """ sharpness = calculate_image_sharpness(image) brightness = calculate_brightness(image) if sharpness < sharpness_threshold: print(f" 清晰度不足: {sharpness:.1f}") return False if brightness < brightness_low: print(f" 亮度太低: {brightness:.1f}") return False if brightness > brightness_high: print(f" 亮度太高: {brightness:.1f}") return False return True

3.4 组装完整清洗流程

现在，我们把所有步骤串起来，形成一个完整的处理脚本。

def clean_data_pipeline(raw_dir='./raw_images', cleaned_dir='./cleaned_images', target_size=(256, 256)): """ 数据清洗主流程 """ os.makedirs(cleaned_dir, exist_ok=True) raw_images = [f for f in os.listdir(raw_dir) if f.lower().endswith(('.png', '.jpg', '.jpeg'))] cleaned_count = 0 for img_name in raw_images: raw_path = os.path.join(raw_dir, img_name) cleaned_path = os.path.join(cleaned_dir, img_name) print(f"处理: {img_name}") # 1. 读取图片 img = cv2.imread(raw_path) if img is None: print(f" -> 读取失败，跳过") continue # 2. 质量过滤 if not is_high_quality(img): print(f" -> 质量不合格，跳过") continue # 3. 尝试去除浅色水印（根据实际情况调整或跳过） img = remove_light_watermark_by_color(img) # 4. 统一尺寸 img = resize_and_center_crop(img, target_size) # 5. 保存处理后的图片 cv2.imwrite(cleaned_path, img) cleaned_count += 1 print(f" -> 已清洗并保存") print(f"\n清洗完成！原始图片 {len(raw_images)} 张，合格图片 {cleaned_count} 张。") return cleaned_count # 运行清洗流水线 clean_data_pipeline(raw_dir='./raw_images', cleaned_dir='./cleaned_data')

运行这个脚本后，cleaned_data文件夹里就是你为Wan2.1 VAE训练准备好的、经过初步清洗的图片了。你会发现图片尺寸统一了，一些明显的低质量图片被过滤掉了。