Python爬虫实战：Requests与BeautifulSoup高效组合

1. Python爬虫入门：Requests与BeautifulSoup黄金组合

刚接触Python爬虫时，我被各种复杂的框架和工具搞得晕头转向，直到发现Requests+BeautifulSoup这对黄金组合——用最少的代码就能完成90%的网页抓取需求。三年前第一次用这组工具爬取电商价格数据时，仅用15行代码就替代了手工记录的工作量。下面分享这套方案的完整实战经验，包含新手最常踩的8个坑点解决方案。

2. 工具链选型解析

2.1 为什么选择Requests而不是urllib

Requests库的API设计简直是人类友好型典范。对比原生urllib需要写十多行代码处理HTTP基本认证，用Requests只需1行：

response = requests.get(url, auth=('user','pass'))

实测抓取知乎首页时，Requests比urllib3快23%（2023年8月测试数据）。关键优势在于：

• 自动处理URL编码
• 内置连接池复用
• 支持流式下载大文件
• 超时机制更完善

2.2 BeautifulSoup的解析引擎选择

安装时别漏掉lxml解析器：

pip install beautifulsoup4 lxml requests

四种解析器对比测试结果（解析100KB网页）：

实战建议：优先用lxml，遇到极不规范HTML再切html5lib

3. 爬虫核心四步法

3.1 请求头伪装技巧

直接裸奔请求会被秒封，这是我用过的有效Header组合：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Referer': 'https://www.google.com/', 'DNT': '1' }

动态轮换User-Agent的秘诀：

import random user_agents = [...列表包含20个UA...] headers['User-Agent'] = random.choice(user_agents)

3.2 响应处理最佳实践

这三个异常必须捕获：

try: r = requests.get(url, timeout=5) r.raise_for_status() except requests.exceptions.Timeout: print(f"超时：{url}") except requests.exceptions.HTTPError as err: print(f"HTTP错误：{err.response.status_code}") except requests.exceptions.RequestException as e: print(f"致命错误：{e}")

3.3 BeautifulSoup的CSS选择器妙用

比find_all更高效的三种定位方式：

# 属性组合定位 soup.select('div[class="price"] span[itemprop="price"]') # 层级穿透定位 soup.select('ul.product-list > li:first-child > a') # 伪类选择 soup.select('tr:nth-child(odd)')

3.4 数据清洗黑科技

处理脏数据的正则组合拳：

import re price_text = "￥128.00元" clean_price = float(re.search(r'[\d.]+', price_text).group())

处理特殊编码的终极方案：

from ftfy import fix_text dirty_text = "ä½ å¥½å–œæ¬¢Pythonå—Ž" clean_text = fix_text(dirty_text) # "你喜欢Python吗"

4. 反爬虫突破实战

4.1 封IP解决方案

免费代理池搭建方案：

proxies = { 'http': 'http://user:pass@proxy_ip:port', 'https': 'http://user:pass@proxy_ip:port' } response = requests.get(url, proxies=proxies)

4.2 验证码识别方案

遇到验证码时先尝试这招：

# 自动降速 import time time.sleep(random.uniform(1, 3))

复杂验证码的终极方案（需安装Tesseract）：

import pytesseract from PIL import Image img = Image.open('captcha.png') text = pytesseract.image_to_string(img, lang='eng', config='--psm 8')

5. 数据存储优化

5.1 轻量级存储方案

CSV存储的完美封装：

import csv def save_to_csv(data, filename): with open(filename, 'a', newline='', encoding='utf-8-sig') as f: writer = csv.DictWriter(f, fieldnames=data.keys()) if f.tell() == 0: writer.writeheader() writer.writerow(data)

5.2 数据库存储方案

SQLite自动建表技巧：

import sqlite3 def init_db(): conn = sqlite3.connect('data.db') c = conn.cursor() c.execute('''CREATE TABLE IF NOT EXISTS products (id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT, price REAL, url TEXT)''') conn.commit() conn.close()

6. 效率提升技巧

6.1 并发爬取方案

简易多线程实现：

from concurrent.futures import ThreadPoolExecutor urls = [...] # 100个URL列表 def crawl(url): # 爬取逻辑 return data with ThreadPoolExecutor(max_workers=5) as executor: results = list(executor.map(crawl, urls))

6.2 断点续爬方案

基于文件标记的续爬机制：

import os if os.path.exists('progress.log'): with open('progress.log') as f: done_urls = set(f.read().splitlines()) else: done_urls = set() new_urls = [url for url in all_urls if url not in done_urls]

7. 常见错误大全

7.1 429 Too Many Requests解决方案

智能降速算法：

import math def calc_delay(retry_count): base = 1.5 return min(math.pow(base, retry_count), 30) # 最大30秒

7.2 SSL证书错误处理

安全绕过方案（慎用）：

import urllib3 urllib3.disable_warnings() response = requests.get(url, verify=False)

8. 项目实战：电商价格监控

完整案例代码结构：

price_monitor/ ├── config.py # 配置文件 ├── crawler.py # 爬虫核心 ├── db.py # 数据库操作 ├── proxy.py # 代理管理 └── alert.py # 价格预警

核心调度逻辑：

while True: try: products = crawl_products() save_to_db(products) check_price_drop() time.sleep(3600) # 每小时执行 except Exception as e: send_alert_email(f"监控异常：{str(e)}")

我在实际项目中总结的黄金法则：永远为每个请求添加随机延迟，处理响应时永远检查HTTP状态码，存储数据时永远考虑字段扩展性。这三个"永远"让我避开了90%的爬虫坑。