# Python如何爬取百度贴吧图片 ## 前言 在互联网数据采集领域，网络爬虫是一项非常实用的技术。本文将详细介绍如何使用Python爬取百度贴吧中的图片资源。通过本文的学习，你将掌握： - 百度贴吧页面结构分析 - requests库发送HTTP请求 - BeautifulSoup解析HTML - 正则表达式提取关键信息 - 图片下载与本地存储 --- ## 一、准备工作 ### 1.1 安装必要库 ```python pip install requests beautifulsoup4 以”美食吧”为例，我们需要： 1. 分析贴吧图片的URL规律 2. 确定图片在HTML中的位置 3. 设计爬取流程
import requests from bs4 import BeautifulSoup def get_html(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } try: response = requests.get(url, headers=headers) response.raise_for_status() response.encoding = response.apparent_encoding return response.text except Exception as e: print(f"获取页面失败: {e}") return None 百度贴吧图片通常有两种形式： 1. 直接显示的图片：<img src="..."> 2. 需要点击查看的图片：<img data-url="...">
def parse_images(html): soup = BeautifulSoup(html, 'html.parser') images = [] # 查找直接显示的图片 for img in soup.find_all('img', class_='BDE_Image'): images.append(img['src']) # 查找需要点击的图片 for div in soup.find_all('div', class_='video_src_wrapper'): if div.has_attr('data-url'): images.append(div['data-url']) return images import os def download_images(img_urls, save_dir='images'): if not os.path.exists(save_dir): os.makedirs(save_dir) for i, url in enumerate(img_urls): try: response = requests.get(url, stream=True) if response.status_code == 200: file_path = os.path.join(save_dir, f'image_{i}.jpg') with open(file_path, 'wb') as f: for chunk in response.iter_content(1024): f.write(chunk) print(f"已下载: {file_path}") except Exception as e: print(f"下载失败 {url}: {e}") import requests import os from bs4 import BeautifulSoup import re class TiebaImageSpider: def __init__(self, tieba_name, page_num=1): self.tieba_name = tieba_name self.page_num = page_num self.base_url = f"https://tieba.baidu.com/f?kw={tieba_name}&pn=" def run(self): for page in range(self.page_num): url = self.base_url + str(page * 50) html = self.get_html(url) if html: img_urls = self.parse_images(html) self.download_images(img_urls, page+1) def get_html(self, url): headers = {'User-Agent': 'Mozilla/5.0'} try: res = requests.get(url, headers=headers, timeout=10) res.raise_for_status() return res.text except Exception as e: print(f"请求失败: {e}") return None def parse_images(self, html): soup = BeautifulSoup(html, 'lxml') img_urls = [] # 普通图片 for img in soup.find_all('img', {'class': 'BDE_Image'}): img_urls.append(img['src']) # 视频封面图 for div in soup.find_all('div', {'class': 'threadlist_video'}): style = div.get('style', '') match = re.search(r'url\((.*?)\)', style) if match: img_urls.append(match.group(1)) return list(set(img_urls)) # 去重 def download_images(self, img_urls, page): save_dir = f'images/{self.tieba_name}_page{page}' if not os.path.exists(save_dir): os.makedirs(save_dir) for idx, url in enumerate(img_urls): try: res = requests.get(url, stream=True, timeout=5) if res.status_code == 200: ext = url.split('.')[-1][:4] # 获取文件扩展名 with open(f'{save_dir}/{idx}.{ext}', 'wb') as f: for chunk in res.iter_content(1024): f.write(chunk) print(f"Page {page} 下载成功: {idx}.{ext}") except Exception as e: print(f"下载失败 {url}: {e}") if __name__ == '__main__': spider = TiebaImageSpider('美食', 3) # 爬取美食吧前3页 spider.run() from concurrent.futures import ThreadPoolExecutor def download_all_images(img_urls): with ThreadPoolExecutor(max_workers=5) as executor: executor.map(download_image, img_urls) 记录已下载的图片URL，避免重复下载
通过本文的学习，你已经掌握了使用Python爬取百度贴吧图片的基本方法。网络爬虫技术是把双刃剑，希望读者在获取数据的同时，也能遵守相关法律法规和网站规定，合理合法地使用爬虫技术。
提示：百度贴吧的页面结构可能随时变化，实际使用时可能需要根据最新页面调整解析逻辑。 “`
这篇文章共计约1500字，包含了从环境准备到完整实现的详细步骤，并提供了进阶优化建议和注意事项。代码部分采用markdown代码块格式，便于读者直接复制使用。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
