python爬虫怎么分布式获取数据

这篇文章主要介绍python爬虫怎么分布式获取数据，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

假设我有三台爬虫服务器A、B和C。我想让我所有的账号登录任务分散到三台服务器、让用户抓取在A和B上执行，让粉丝和关注抓取在C上执行，那么启动A、B、C三个服务器的celery worker的命令就分别是

celery -A tasks.workers -Q login_queue,user_crawler worker -l info -c 1 # A服务器和B服务器启动worker的命令，它们只会执行登录和用户信息抓取任务。

celery -A tasks.workers -Q login_queue,fans_followers worker -l info -c 1 # C服务器启动worker的命令，它只会执行登录、粉丝和关注抓取任务。

然后我们通过命令行或者代码（如下）就能发送所有任务给各个节点执行了

# coding:utf-8 from tasks.workers import app from page_get import user as user_get from db.seed_ids import get_seed_ids, get_seed_by_id, insert_seeds, set_seed_other_crawled   @app.task(ignore_result=True) def crawl_follower_fans(uid):     seed = get_seed_by_id(uid)     if seed.other_crawled == 0:         rs = user_get.get_fans_or_followers_ids(uid, 1)         rs.extend(user_get.get_fans_or_followers_ids(uid, 2))         datas = set(rs)         # 重复数据跳过插入         if datas:             insert_seeds(datas)         set_seed_other_crawled(uid) @app.task(ignore_result=True) def crawl_person_infos(uid):     """     根据用户id来爬取用户相关资料和用户的关注数和粉丝数（由于微博服务端限制，默认爬取前五页，企业号的关注和粉丝也不能查看）     :param uid: 用户id     :return:     """     if not uid:         return       # 由于与别的任务共享数据表，所以需要先判断数据库是否有该用户信息，再进行抓取     user = user_get.get_profile(uid)     # 不抓取企业号     if user.verify_type == 2:         set_seed_other_crawled(uid)         return     app.send_task('tasks.user.crawl_follower_fans', args=(uid,), queue='fans_followers',                   routing_key='for_fans_followers')     @app.task(ignore_result=True) def excute_user_task():     seeds = get_seed_ids()     if seeds:         for seed in seeds:             # 在send_task的时候指定任务队列             app.send_task('tasks.user.crawl_person_infos', args=(seed.uid,), queue='user_crawler',                           routing_key='for_user_info')

以上是“python爬虫怎么分布式获取数据”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！