在使用Python的requests库进行网络请求时,可能会遇到各种错误,例如网络连接问题、超时、HTTP错误等。为了确保程序的健壮性,我们需要对这些潜在的错误进行处理。以下是一些建议:
使用try-except语句捕获异常:
在执行网络请求的代码块周围使用try-except语句,可以捕获到可能发生的异常,并进行相应的处理。
import requests try: response = requests.get('https://api.example.com/data', timeout=5) response.raise_for_status() # 如果响应状态码不是200,将抛出HTTPError异常 except requests.exceptions.RequestException as e: print(f"请求发生错误: {e}") else: # 处理正常响应的逻辑 pass 使用requests库的内置函数处理HTTP错误:
requests库提供了一个名为raise_for_status的方法,当响应的状态码不是200时,它会抛出一个HTTPError异常。你可以在except子句中捕获这个异常,并进行相应的处理。
response = requests.get('https://api.example.com/data', timeout=5) response.raise_for_status() # 如果响应状态码不是200,将抛出HTTPError异常 设置超时:
在发起网络请求时,可以设置一个超时值,以防止程序在网络延迟或无响应的情况下无限期地等待。这可以通过timeout参数实现。
response = requests.get('https://api.example.com/data', timeout=5) 检查响应内容:
在处理响应时,除了检查HTTP状态码外,还可以检查响应的内容,以确保请求成功并获得了预期的数据。
if response.status_code == 200: try: data = response.json() # 假设响应内容是JSON格式 print(data) except ValueError as e: print(f"解析响应内容时发生错误: {e}") else: print(f"请求失败,状态码: {response.status_code}") 通过以上方法,你可以对Python requests爬虫中的错误进行处理,提高程序的稳定性和可靠性。