Python爬虫进阶：XPath语法精讲与实战避坑指南
1. XPath语法精讲：从入门到精通
如果你已经会用XPath提取简单的网页数据，但遇到复杂嵌套结构就头疼，那这篇文章就是为你准备的。XPath就像HTML文档的GPS导航系统，能精准定位到任何一个标签节点。但要用好这个工具，得先掌握它的核心语法规则。
先说说最基础的路径表达式。/和//的区别就像坐电梯和爬楼梯：/div/a是严格按照父子关系一层层查找，而//div//a则可以跨越多级标签直接找到目标。我经常看到新手犯的一个错误是在不需要严格层级时过度使用/，导致表达式冗长且脆弱。
属性匹配是XPath的杀手锏。比如要抓取豆瓣电影评分，可以用//span[@class="rating_num"]精准定位。但有个坑要注意：当class属性有多个值时（如class="rating num highlight"），必须用contains()函数：//span[contains(@class, "rating")]。
文本提取也有讲究。/text()只能获取直接文本，而//text()会提取所有子孙文本。最近我抓取新闻网站时就踩过坑：某个<p>标签里嵌入了<span>，用/text()只拿到前半段，改用string(.)才完整获取。
2. 实战中的高级定位技巧
当页面结构复杂时，基础定位方法就不够用了。这时候需要祭出XPath的轴定位（axes）功能。比如要抓取电商网站的商品价格，但价格标签没有唯一class，这时可以用following-sibling轴：
//div[contains(text(),"价格")]/following-sibling::span[1]这个表达式意思是：先找到包含"价格"文字的div，然后定位它后面同级的第一个span标签。我在京东抓取时就靠这招解决了90%的价格定位问题。
另一个神器是preceding-sibling轴。有次抓取论坛数据，需要获取楼主发言时间，但时间标签在用户名之前，用常规方法很难定位。最终用这个表达式搞定：
//a[@class="username"]/preceding-sibling::span[@class="time"]按序选择也经常派上用场。比如抓取知乎热榜时，用//div[@class="HotList-item"][position()<=10]可以精准获取前10条热榜内容。注意XPath的索引从1开始，这点和Python不同，我刚开始经常搞混。
3. 浏览器调试工具实战指南
工欲善其事，必先利其器。Chrome的XPath Helper插件是我的必备工具，安装后按Ctrl+Shift+X就能调出调试窗口。左边输入表达式，右边实时显示匹配结果，比反复运行爬虫调试效率高10倍不止。
有个实用技巧：在Elements面板选中元素后，右键"Copy XPath"能快速生成表达式。不过自动生成的路径往往又臭又长，我通常会手动优化。比如把/html/body/div[3]/div/div[2]/div简化成//div[@class="main-content"]。
Firefox的开发者工具也很强大，它的XPath评估器能直接测试表达式。我习惯两个浏览器交替使用，因为有些网站在不同浏览器下DOM结构会有差异。上周抓取政府网站时就发现，Chrome里能正常工作的表达式在Firefox下失效，最后发现是某个<div>的嵌套层级不同。
4. Python代码中的XPath实战
理论懂了，怎么在Python里用呢？首先确保安装了lxml库：
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple解析网页时有个重要细节：etree.HTML()会自动补全缺失的标签。有次解析一个格式错误的HTML，发现多出了<tbody>标签，导致XPath失效。后来改用html5parser作为解析器：
parser = etree.HTMLParser(remove_blank_text=True) tree = etree.HTML(html, parser=parser)提取数据时要注意，xpath()方法永远返回列表。我见过最常犯的错误是直接取[0]而不做空值判断。稳妥的写法是：
results = tree.xpath('//h1/text()') title = results[0] if results else None对于大量数据提取，建议用zip组合多个XPath结果：
titles = tree.xpath('//div[@class="title"]/text()') links = tree.xpath('//div[@class="title"]/a/@href') for title, link in zip(titles, links): print(title, link)5. 高频踩坑点与解决方案
动态加载内容是最常见的坑。明明在浏览器能看到元素，但XPath就是匹配不到。这时候要先确认网页是否通过AJAX加载数据。我常用的解决方法是：
- 使用Selenium等工具渲染页面
- 分析网络请求，直接调用接口
- 在XPath中加入等待逻辑
反爬虫机制也让人头疼。有些网站会随机插入隐藏标签干扰XPath定位。我的应对策略是：
- 优先用class和id定位
- 避免使用绝对路径
- 添加
normalize-space()处理空白字符
编码问题也不容忽视。有次抓取中文网站，XPath匹配总是失败，最后发现是编码不一致导致的。现在我会先用html = html.decode('utf-8')统一编码。
性能优化方面，避免在循环中重复执行XPath查询。应该先获取父节点，再在子节点上操作：
items = tree.xpath('//div[@class="item"]') # 先获取所有item for item in items: title = item.xpath('./h3/text()')[0] # 在子节点上查询6. 复杂网页结构解析案例
来看个房产网站的真实案例，要抓取房源信息：
<div class="house-list"> <div class="item"> <div class="title">阳光花园 3室2厅</div> <div class="details"> <span>120平</span> <span>南向</span> <span class="price">450万</span> </div> </div> <!-- 更多房源... --> </div>最优XPath方案是：
titles = tree.xpath('//div[@class="house-list"]/div[@class="item"]/div[@class="title"]/text()') prices = tree.xpath('//div[@class="details"]/span[@class="price"]/text()')如果遇到更复杂的嵌套，可以使用ancestor轴向上查找。比如要获取某个<span>所在的整条房源信息：
//span[@class="price"]/ancestor::div[@class="item"]7. 性能优化与最佳实践
XPath性能其实很高，但写法不当会导致效率低下。我的经验是：
- 尽量避免使用
//开头的全局搜索 - 多用
[@class]或[@id]缩小范围 - 复杂表达式拆分成多个简单查询
缓存机制也很重要。对于不变的页面结构，可以把解析后的tree对象pickle到本地：
import pickle # 保存 with open('cached_tree.pkl', 'wb') as f: pickle.dump(tree, f) # 读取 with open('cached_tree.pkl', 'rb') as f: tree = pickle.load(f)最后分享一个项目经验：有次需要抓取10万+页面，最初单线程跑要20小时。通过以下优化降到2小时：
- 使用多线程并发（但注意控制并发数）
- 复用etree.HTMLParser实例
- 预编译常用XPath表达式
- 设置合理的超时和重试机制