14｜爬虫入门：requests 与 BeautifulSoup
很多人开始学 Python，其中一个非常直接的动力就是：
想把网页上的信息自动拿下来。
比如：
- 抓取新闻标题
- 采集商品信息
- 批量下载图片链接
- 统计网页中的某些字段
这就是爬虫最常见的应用场景。
但真正开始写时，初学者往往会卡在这些问题：
- 请求网页应该怎么发？
- HTML 看起来这么乱，怎么提取想要的内容？
- 为什么有的网站拿不到？
这篇文章先不讲复杂反爬，也不讲 Selenium 和异步采集。
我们只先把最基础、最经典的一组搭配讲清楚：
requestsBeautifulSoup
一、什么是爬虫
简单来说，爬虫做的事情就是：
- 向网页发请求
- 拿到网页返回的数据
- 从中提取有用信息
- 保存下来
所以一个基础爬虫通常分成三步：
- 请求
- 解析
- 存储
二、安装依赖
如果你还没有安装相关库，可以先执行：
pipinstallrequests beautifulsoup4三、发送第一个网页请求
importrequests url="https://httpbin.org/get"response=requests.get(url)print(response.status_code)print(response.text)这里要认识三个最基础的东西：
1.requests.get(url)
发送 GET 请求。
2.response.status_code
查看状态码。
常见状态码：
200 请求成功 404 页面不存在 500 服务器错误3.response.text
获取响应的文本内容。
四、请求头为什么重要
有些网站会根据请求头判断你是不是“正常浏览器访问”。
所以很多时候我们会加一个User-Agent：
importrequests url="https://httpbin.org/headers"headers={"User-Agent":"Mozilla/5.0"}response=requests.get(url,headers=headers)print(response.text)这能让请求看起来更像浏览器发出的。
五、认识 HTML
网页返回内容大多是 HTML。
例如：
<html><body><h1>新闻标题</h1><p>这是一段正文</p></body>