当前位置：首页 > news >正文

《requests vs httpx：Python 网络请求库的全面对比与实战指南》

news 2026/6/30 14:06:29

《requests vs httpx：Python 网络请求库的全面对比与实战指南》

从同步到异步，从简单请求到高性能并发，选对工具，事半功倍。

一、写在前面：为什么我们需要重新审视 HTTP 客户端？

在 Python 的世界里，requests几乎是网络请求的代名词。它以简洁优雅的 API 和强大的功能，成为无数开发者的首选工具。然而，随着异步编程的兴起、性能需求的提升，httpx作为后起之秀，正悄然改变这一格局。

这篇文章将带你深入理解这两个库的设计理念、使用方式、性能差异与适用场景。无论你是刚接触 Python 网络编程的新手，还是追求极致性能的资深开发者，都能在这里找到实用的参考与灵感。

二、requests 与 httpx：谁是谁？

特性	`requests`	`httpx`
同步支持	✅	✅
异步支持	❌	✅（基于`asyncio`）
HTTP/2 支持	❌	✅
连接池复用	✅	✅（更灵活）
Cookie 管理	✅	✅
流式上传/下载	✅	✅
类型提示	❌	✅（支持类型注解）
支持 HTTP 代理	✅	✅
支持 SOCKS 代理	❌（需额外库）	✅（内置）

三、基础用法对比：从 Hello World 开始

1. 使用 requests 发起 GET 请求

importrequests response=requests.get('https://httpbin.org/get',params={'q':'python'})print(response.status_code)print(response.json())

2. 使用 httpx 发起同步 GET 请求

importhttpx response=httpx.get('https://httpbin.org/get',params={'q':'python'})print(response.status_code)print(response.json())

几乎一模一样，对吧？这是httpx的一大优势：API 与 requests 高度兼容，迁移成本低。

四、异步时代的选择：httpx 的杀手锏

如果你正在开发异步 Web 应用（如 FastAPI、aiohttp），或者需要高并发爬虫、实时数据处理，httpx的异步能力将大放异彩。

异步 GET 请求示例

importhttpximportasyncioasyncdeffetch():asyncwithhttpx.AsyncClient()asclient:response=awaitclient.get('https://httpbin.org/get')print(response.json())asyncio.run(fetch())

相比之下，requests无法在async环境中使用，容易阻塞事件循环，导致性能瓶颈。

五、性能实测：并发场景下的差距

我们用 100 个并发请求测试两者性能（以 httpbin.org 为目标）：

# 使用 httpx 异步并发importasyncioimporthttpximporttimeasyncdeffetch(client,i):r=awaitclient.get('https://httpbin.org/delay/1')returnr.status_codeasyncdefmain():asyncwithhttpx.AsyncClient()asclient:tasks=[fetch(client,i)foriinrange(100)]start=time.time()awaitasyncio.gather(*tasks)print(f"耗时：{time.time()-start:.2f}秒")asyncio.run(main())

结果对比：

requests（同步）：约 100 秒
httpx（异步）：约 1.5 秒

这就是异步的力量。

六、进阶特性对比：你可能不知道的细节

1. HTTP/2 支持（httpx 独有）

client=httpx.Client(http2=True)

在需要复用连接、提升性能的场景（如 gRPC、API 网关）中，HTTP/2 是关键。

2. 更强的连接池控制

client=httpx.Client(limits=httpx.Limits(max_connections=100,max_keepalive_connections=20))

相比requests的全局连接池，httpx提供更细粒度的控制，适合高并发服务。

3. 更好的类型提示与 IDE 支持

deffetch(url:str)->httpx.Response:returnhttpx.get(url)

类型安全让大型项目更易维护，httpx在这方面明显优于requests。

4. 原生支持 SOCKS 代理

client=httpx.Client(proxies="socks5://127.0.0.1:1080")

无需额外依赖，轻松应对翻墙、匿名访问等需求。

七、实战案例：构建一个高并发异步爬虫

目标：抓取多个页面的标题信息。

importhttpximportasynciofrombs4importBeautifulSoup urls=['https://example.com','https://httpbin.org/html',# 添加更多目标页面]asyncdeffetch_title(client,url):try:r=awaitclient.get(url,timeout=5)soup=BeautifulSoup(r.text,'html.parser')title=soup.title.stringifsoup.titleelse'无标题'print(f"{url}->{title}")exceptExceptionase:print(f"{url}请求失败：{e}")asyncdefmain():asyncwithhttpx.AsyncClient()asclient:tasks=[fetch_title(client,url)forurlinurls]awaitasyncio.gather(*tasks)asyncio.run(main())