毕设代码二手房数据实战：从爬取到可视化的一站式工程实现

最近在帮学弟学妹看计算机专业的毕业设计，发现“二手房数据分析”真是个热门选题。想法都挺好，但一到动手实现，很多人就卡在了数据上：要么网站反爬太严数据抓不下来，要么抓下来的数据乱七八糟没法用，好不容易数据有了，做个可视化图表又慢又卡。今天，我就结合自己做过的一个项目，把从数据爬取、清洗处理到可视化展示的一整套流程，拆解成一个清晰、可复用的工程方案分享出来，希望能帮你绕过那些坑，顺利搞定毕设。

1. 为什么你的毕设数据项目总在“第一步”卡住？

很多同学一开始雄心勃勃，但很快就遇到了现实问题。数据采集不稳定，今天能跑明天就报错；数据字段缺失严重，价格、面积里混着“面议”、“暂无”；后端代码写成一团，改个查询逻辑牵一发而动全身。这些痛点背后，其实是缺乏一个模块化、工程化的思维。我们的目标不是写一个能跑的脚本，而是构建一个职责清晰、易于维护和扩展的小型系统。

2. 技术栈选型：没有最好，只有最合适

面对琳琅满目的技术，怎么选？这里给出我的对比和思考：

爬虫框架：Scrapy vs Selenium

• Scrapy：异步框架，速度快，资源占用少，适合结构化数据的大规模抓取。对于二手房列表页和详情页这种规律性强的场景，它是首选。反爬策略可以通过中间件灵活添加。
• Selenium：模拟浏览器，能处理复杂的JavaScript渲染页面。但速度慢，资源消耗大。除非目标网站数据完全由JS加载且无法找到接口，否则不建议作为主力。本方案以Scrapy为核心。

数据库：SQLite vs PostgreSQL

• SQLite：轻量，单文件，无需安装服务器，适合超小型应用或原型验证。
• PostgreSQL：功能强大的关系型数据库，支持更复杂的数据类型、查询和并发。考虑到毕设可能需要处理数万乃至更多数据，并进行稍复杂的聚合分析，PostgreSQL更能保证稳定性和性能，也更贴近企业应用场景。因此我们选择它。

Web框架：Flask vs Django

• Django：大而全，自带Admin、ORM、用户认证等，开箱即用，但略显笨重。
• Flask：微框架，灵活轻量，需要什么功能自己组合。对于毕设中主要提供数据API的场景，Flask足够用，也更能让你理解Web请求的流程。所以我们用Flask来构建RESTful API。

3. 核心实现：分而治之，各个击破

整个工程可以划分为爬虫、数据处理、API服务、前端展示四个模块。

模块一：基于Scrapy的稳健爬虫核心是编写Spider和配置中间件。Spider负责解析页面，提取房源标题、价格、面积、区域、户型等字段。

更关键的是中间件，用于应对反爬。

1. User-Agent轮换：准备一个包含多个主流浏览器标识的列表，每次请求随机选取一个。
2. 请求延迟设置：在settings.py中配置DOWNLOAD_DELAY，避免请求过快。
3. IP代理池（可选但推荐）：如果遇到严格IP封锁，可以集成付费或免费的代理IP服务，在中间件中为请求更换IP。

一个重要的细节是去重。Scrapy自带基于请求指纹的去重，但为了应对同一房源信息更新，我们更应关注数据层面的去重。可以在数据清洗环节，根据房源唯一ID或“标题+区域”的组合进行判断。

模块二：使用Pandas进行数据清洗与存储爬取的原始数据往往很“脏”。清洗流程如下：

1. 读取数据：将Scrapy输出的JSON或CSV文件用Pandas读入DataFrame。
2. 处理缺失值：对于关键字段（如价格、面积）的缺失，根据情况选择删除该条记录或用同区域均价/面积中位数填充（需谨慎）。
3. 格式化字段：
   • 价格：提取数字部分，将“万”转换为*10000。处理“单价”和“总价”的混淆。
   • 面积：提取数字，统一单位为“平方米”。
   • 户型：拆分为“室”、“厅”、“卫”等独立字段，便于后续分析。
4. 异常值过滤：设定合理范围（如单价低于5000或高于200000元/平米，面积小于10平米），将超出范围的记录视为异常并剔除或标记。
5. 存储至数据库：使用sqlalchemy库，建立与PostgreSQL的连接，将清洗后的DataFrame一次性或分批次写入数据库表。

模块三：Flask API 设计与实现API是连接数据与前端展示的桥梁。设计遵循RESTful风格。

1. 数据库连接管理：使用连接池（如DBUtils）避免频繁创建销毁连接，提升性能。
2. 核心API端点：
   • GET /api/houses：获取房源列表，支持分页（page,size）、按区域（district）、价格区间（price_min,price_max）筛选。
   • GET /api/houses/stats：获取统计信息，如各区域平均单价、房源数量分布等，供可视化图表使用。
3. 代码结构：建议按功能分模块，例如app.py（主程序）、models.py（数据库模型）、views.py（视图函数/API端点）。

4. 关键代码片段与注释

这里给出一些最核心的代码逻辑，帮助你理解实现。

爬虫去重逻辑（在Pipeline中）：

import hashlib from itemadapter import ItemAdapter class DuplicatesPipeline: def __init__(self): self.seen_ids = set() # 使用集合存储已见ID，实现高效查找 def process_item(self, item, spider): # 假设房源有一个唯一标识字段 ‘house_id’，或者用‘标题+小区名’生成唯一键 adapter = ItemAdapter(item) house_key = adapter.get('house_id') or f"{adapter['title']}_{adapter['community']}" # 生成唯一指纹 fp = hashlib.sha1(house_key.encode()).hexdigest() if fp in self.seen_ids: raise DropItem(f"Duplicate item found: {house_key}") else: self.seen_ids.add(fp) return item

Flask数据库连接池配置：

from flask import Flask from flask_sqlalchemy import SQLAlchemy from sqlalchemy.pool import QueuePool app = Flask(__name__) app.config['SQLALCHEMY_DATABASE_URI'] = 'postgresql://user:password@localhost:5432/house_db' # 关键配置：使用连接池，设置池大小和回收时间 app.config['SQLALCHEMY_ENGINE_OPTIONS'] = { 'poolclass': QueuePool, 'pool_size': 10, # 连接池大小 'pool_recycle': 3600, # 连接回收时间（秒） 'pool_pre_ping': True # 每次取连接前检查有效性 } db = SQLAlchemy(app)

提供分页查询的API端点：

from flask import request, jsonify from .models import House from . import db @app.route('/api/houses', methods=['GET']) def get_houses(): page = request.args.get('page', 1, type=int) per_page = request.args.get('size', 20, type=int) district = request.args.get('district', None) # 构建查询 query = House.query if district: query = query.filter_by(district=district) # 执行分页 pagination = query.paginate(page=page, per_page=per_page, error_out=False) houses = pagination.items return jsonify({ 'houses': [house.to_dict() for house in houses], 'total': pagination.total, 'page': page, 'pages': pagination.pages })

5. 性能与安全：容易被忽略的必修课

性能方面：

• 请求频率控制：严格遵守爬虫的DOWNLOAD_DELAY，并监控目标网站的robots.txt。可以考虑将爬虫任务分散到不同时间段执行。
• 数据库索引：对经常用于查询和筛选的字段（如district,price）建立数据库索引，能极大提升API响应速度。
• API响应优化：使用flask-caching缓存频繁请求且数据变化不快的接口（如区域统计信息）。

安全方面：

• 敏感信息脱敏：如果爬取到房东电话等个人信息，在存储和展示前必须进行脱敏处理（如显示为138****1234）。
• API限流：使用flask-limiter等库为公开API添加限流，防止恶意刷接口。例如，限制每个IP每分钟最多请求60次。
• 配置信息保护：数据库密码、API密钥等绝不能硬编码在代码中。应使用环境变量或配置文件管理，并将配置文件加入.gitignore。

6. 生产环境避坑指南

即使本地运行顺利，部署时也可能遇到问题：

1. 本地代理失效：开发时用的免费代理IP，部署到服务器后可能大量失效。解决方案是使用更稳定的付费代理服务，或者部署分布式爬虫，让多个服务器以较低频率抓取。
2. 城市区域编码不一致：不同数据源对同一区域的命名可能不同（如“浦东新区” vs “浦东”）。需要在清洗时建立统一的区域映射表进行标准化。
3. 前端跨域问题：当你的Flask API和前端页面部署在不同域名或端口时，浏览器会因同源策略阻止请求。在Flask中，可以使用flask-cors扩展轻松解决。
4. 数据库连接耗尽：在并发稍高的环境下，如果没使用连接池或配置不当，可能会遇到“连接数超限”错误。务必按照前面所述正确配置SQLAlchemy连接池。
5. 数据更新问题：房源数据是变化的。需要设计定时任务（如使用APScheduler）定期运行爬虫更新数据，并处理好新旧数据的覆盖与历史记录。

7. 总结与扩展方向

至此，一个结构清晰、具备一定鲁棒性的二手房数据工程就搭建起来了。它涵盖了数据生产的全链路，并且每个模块都可以独立优化和替换。

如果你还想让毕设更出彩，可以考虑以下扩展方向：

• 加入简单的预测模型：使用scikit-learn，基于历史数据训练一个简单的线性回归模型，预测某个区域的房价趋势。这能立刻提升项目的“智能”含量。
• 丰富可视化图表：除了基本的折线图、柱状图，可以尝试用热力图展示房价地理分布，用关系图展示房源特征关联。
• 部署到云服务器：尝试将整个应用（PostgreSQL, Flask, Nginx）部署到阿里云、腾讯云等云平台，体验完整的DevOps流程。
• 构建微服务架构（进阶）：将爬虫、API、数据分析拆分成独立服务，通过消息队列（如Redis）通信，体验更现代的架构。

毕业设计不仅是完成一个项目，更是系统化工程能力的锻炼。希望这个从爬取到可视化的“一站式”实现思路，能为你提供一个坚实的起点。动手去试，遇到问题解决问题，这个过程本身就是最大的收获。