Python进行HTTP操作详解
在Python中，进行HTTP请求是非常常见的需求，无论是访问API还是爬取网页，都需要发送和接收HTTP请求。Python提供了内置的 urllib 模块来处理HTTP请求，但更加简洁且功能丰富的第三方库 requests 也被广泛使用。本文将深入探讨如何使用这两种方法来发送HTTP请求，并结合详细解释和示例代码，帮助你掌握HTTP操作在Python中的应用。
一、使用 urllib 模块发送HTTP请求
urllib 是Python内置模块之一，适用于处理URL相关的操作，包括发送HTTP请求、解析URL等。虽然功能齐全，但相较于 requests，urllib的使用稍显复杂。接下来我们将通过几个示例，详细讲解如何使用 urllib进行HTTP操作。

1.1 发送GET请求
在 urllib 中，可以使用 urlopen() 函数来发送一个GET请求，并获取服务器的响应。
import urllib.request

# 发送GET请求
response = urllib.request.urlopen('http://example.com')
content = response.read()
print(content)
​
解释：

urllib.request.urlopen()：发送HTTP请求，并返回一个响应对象。
response.read()：读取响应内容，返回的是字节类型，需要根据具体情况进行解码或直接输出。

注意事项：

该方法默认发送GET请求，适用于简单的请求场景。
响应内容需要处理为字符串，可以通过 content.decode('utf-8') 转换。

1.2 发送POST请求
发送POST请求时，我们需要构建请求对象，并传递数据。
import urllib.request

# 发送POST请求
data = b'{"key": "value"}'  # 数据需要是字节类型
req = urllib.request.Request('http://example.com', data=data, method='POST')
response = urllib.request.urlopen(req)
content = response.read()
print(content)
​
解释：

urllib.request.Request()：构造一个Request对象，指定URL、数据和HTTP方法。
data：POST请求的数据必须是字节类型，因此使用 b'...' 表示。
method='POST'：指定HTTP方法为POST。

1.3 处理请求头
有时我们需要为请求添加自定义的HTTP头，例如指定 Content-Type为 application/json。
import urllib.request

# 发送带有自定义头的POST请求
data = b'{"key": "value"}'
headers = {'Content-Type': 'application/json'}
req = urllib.request.Request('http://example.com', data=data, method='POST', headers=headers)
response = urllib.request.urlopen(req)
content = response.read()
print(content)
​
解释：

headers：通过构建字典的方式设置HTTP头，在 Request 对象中传递此字典。
Content-Type：指定请求的内容类型为JSON格式，这对于API请求非常常见。

1.4 处理异常
在进行HTTP请求时，可能会遇到网络错误或服务器返回错误状态码，这时可以使用 try-except来捕获异常。
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://example.com')
    content = response.read()
    print(content)
except urllib.error.URLError as e:
    print(f"URL Error: {e.reason}")
except urllib.error.HTTPError as e:
    print(f"HTTP Error: {e.code} - {e.reason}")
​
解释：

urllib.error.URLError：捕获网络错误，如无法连接到服务器。
urllib.error.HTTPError：捕获HTTP协议错误，如404、500等。


二、使用 requests 库发送HTTP请求
相比 urllib，第三方库 requests 提供了更简洁、直观的API，被Python开发者广泛使用。requests 库需要通过 pip install requests 安装。
2.1 发送GET请求
通过 requests.get() 发送GET请求，语法简洁清晰。
import requests

# 发送GET请求
response = requests.get('http://example.com')
content = response.text
print(content)
​
解释：

requests.get()：发送一个GET请求，返回一个包含响应的Response对象。
response.text：获取响应的内容，已经自动解码为字符串类型。

优点：

requests 自动处理字符编码，将响应内容转换为易于操作的字符串类型。

2.2 发送POST请求
使用 requests.post() 发送POST请求时，可以非常方便地传递数据。
import requests

# 发送POST请求
data = {'key': 'value'}
response = requests.post('http://example.com', json=data)
content = response.text
print(content)
​
解释：

requests.post()：发送POST请求。
json=data：自动将Python字典转换为JSON格式，并设置 Content-Type为 application/json。

2.3 处理请求头