在Python中,可以使用concurrent.futures模块进行并发编程。这个模块提供了两种主要的方法来实现并发:ThreadPoolExecutor和ProcessPoolExecutor。它们分别使用线程和进程来实现并发执行。
下面是使用ThreadPoolExecutor进行并发编程的示例:
import concurrent.futures import requests def fetch_url(url): response = requests.get(url) return response.text urls = [ 'https://www.example.com', 'https://www.google.com', 'https://www.github.com', # 更多URL... ] # 使用线程池执行并发请求 with concurrent.futures.ThreadPoolExecutor() as executor: results = list(executor.map(fetch_url, urls)) print(results) 在这个示例中,我们首先导入concurrent.futures和requests模块。然后定义一个fetch_url函数,用于发送HTTP请求并返回响应内容。接下来,我们创建一个URL列表,并使用ThreadPoolExecutor来执行并发请求。最后,我们将结果打印出来。
ProcessPoolExecutor的使用方式与ThreadPoolExecutor类似,但它使用进程而不是线程来实现并发执行。这在处理CPU密集型任务时非常有用,因为Python的全局解释器锁(GIL)会阻止多线程并行执行CPU密集型任务。在这种情况下,使用进程可以充分利用多核CPU的性能。
这里是一个使用ProcessPoolExecutor的示例:
import concurrent.futures import requests def fetch_url(url): response = requests.get(url) return response.text urls = [ 'https://www.example.com', 'https://www.google.com', 'https://www.github.com', # 更多URL... ] # 使用进程池执行并发请求 with concurrent.futures.ProcessPoolExecutor() as executor: results = list(executor.map(fetch_url, urls)) print(results) 在这个示例中,我们只需将ThreadPoolExecutor替换为ProcessPoolExecutor即可。其他代码保持不变。