# Python如何爬取新闻资讯 ## 前言 在信息爆炸的时代，新闻资讯的获取方式已经从传统媒体转向了数字化渠道。对于数据分析师、研究人员或普通开发者来说，使用Python爬取新闻资讯已成为获取一手数据的重要方式。本文将详细介绍使用Python爬取新闻资讯的完整流程，包括技术选型、反爬应对策略以及数据存储方案。 ## 目录 1. 爬虫技术基础概述 2. 常用爬虫库对比 3. 新闻网站结构分析 4. 基础爬虫实现 5. 动态内容加载处理 6. 反爬机制与应对策略 7. 数据清洗与存储 8. 定时爬虫与增量爬取 9. 项目实战：完整新闻爬虫案例 10. 法律与道德注意事项 --- ## 1. 爬虫技术基础概述 网络爬虫（Web Crawler）是一种自动抓取互联网信息的程序，其核心工作流程包括： ```python 发送HTTP请求 → 获取响应内容 → 解析数据 → 存储数据 新闻资讯爬虫的特殊性在于： - 时效性要求高 - 需要处理多种媒体格式（文本/图片/视频） - 网站结构复杂多变 - 反爬措施较为严格
# 库安装命令 pip install requests beautifulsoup4 lxml scrapy playwright 典型新闻网站结构特征：
列表页结构
详情页结构
API接口 现代网站常通过AJAX加载数据，可通过浏览器开发者工具（F12）分析：
import requests from bs4 import BeautifulSoup def fetch_news(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...' } try: response = requests.get(url, headers=headers, timeout=10) response.raise_for_status() soup = BeautifulSoup(response.text, 'lxml') # 提取新闻标题 title = soup.find('h1').get_text(strip=True) # 提取发布时间 time_tag = soup.find('span', class_='date') publish_time = time_tag['datetime'] if time_tag else None # 提取正文内容 content = '\n'.join([p.get_text() for p in soup.select('article p')]) return { 'title': title, 'time': publish_time, 'content': content, 'source': url } except Exception as e: print(f"Error fetching {url}: {str(e)}") return None def crawl_paginated_news(base_url, pages=5): all_news = [] for page in range(1, pages+1): url = f"{base_url}?page={page}" print(f"Crawling page {page}...") response = requests.get(url) soup = BeautifulSoup(response.text, 'lxml') # 提取当前页所有新闻链接 links = [a['href'] for a in soup.select('.news-list a')] # 并发抓取详情页 with ThreadPoolExecutor(max_workers=4) as executor: results = executor.map(fetch_news, links) all_news.extend([r for r in results if r]) return all_news from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def selenium_crawl(url): options = webdriver.ChromeOptions() options.add_argument('--headless') # 无头模式 driver = webdriver.Chrome(options=options) try: driver.get(url) # 等待动态内容加载 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, "article-content")) ) # 执行JavaScript获取动态数据 comments_count = driver.execute_script( "return window.__INITIAL_STATE__.commentsCount" ) soup = BeautifulSoup(driver.page_source, 'lxml') # 解析逻辑... return processed_data finally: driver.quit() async def playwright_crawl(url): async with async_playwright() as p: browser = await p.chromium.launch() page = await browser.new_page() # 拦截API请求 async def handle_response(response): if '/api/news/' in response.url: data = await response.json() # 处理API数据... page.on('response', handle_response) await page.goto(url) # 滚动加载更多内容 await page.evaluate("window.scrollTo(0, document.body.scrollHeight)") # 获取最终页面内容 content = await page.content() soup = BeautifulSoup(content, 'lxml') # 解析逻辑... await browser.close() # 1. 请求头伪装 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Referer': 'https://www.example.com/' } # 2. IP代理池 proxies = { 'http': 'http://user:pass@proxy_ip:port', 'https': 'http://user:pass@proxy_ip:port' } # 3. 请求频率控制 import time import random def random_delay(): time.sleep(random.uniform(1, 3)) # 4. 使用第三方服务 # 如ScrapingBee、ScraperAPI等付费解决方案 import re from datetime import datetime def clean_news_data(raw_data): # 去除HTML标签 clean_text = re.sub(r'<[^>]+>', '', raw_data['content']) # 规范化时间格式 if raw_data['time']: try: dt = datetime.strptime(raw_data['time'], '%Y-%m-%dT%H:%M:%S%z') normalized_time = dt.isoformat() except ValueError: normalized_time = None # 敏感词过滤 sensitive_words = ['暴力', '恐怖'] # 示例词库 for word in sensitive_words: clean_text = clean_text.replace(word, '***') return { **raw_data, 'content': clean_text, 'time': normalized_time, 'clean_length': len(clean_text) } | 存储方式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| CSV | 简单易用 | 不支持复杂查询 | 小规模数据 |
| MySQL | 关系型查询 | 需要Schema设计 | 结构化数据 |
| MongoDB | 灵活Schema | 内存消耗大 | 非结构化数据 |
| Elasticsearch | 全文检索强 | 运维复杂 | 搜索场景 |
# MongoDB存储示例 from pymongo import MongoClient def save_to_mongodb(data, db_name='news', collection='articles'): client = MongoClient('mongodb://localhost:27017/') db = client[db_name] collection = db[collection] # 去重插入 result = collection.update_one( {'url': data['url']}, {'$set': data}, upsert=True ) return result.upserted_id from apscheduler.schedulers.blocking import BlockingScheduler def job(): print("开始执行爬虫任务...") # 爬虫逻辑... scheduler = BlockingScheduler() # 每2小时执行一次 scheduler.add_job(job, 'interval', hours=2) scheduler.start() def incremental_crawl(): last_crawl_time = get_last_crawl_time() # 从数据库获取上次爬取时间 # 只抓取发布时间大于上次爬取时间的新闻 news_list = get_news_list_from_api(params={ 'start_time': last_crawl_time }) if news_list: process_and_save(news_list) update_last_crawl_time() # 更新爬取时间 /news_crawler/ ├── config.py # 配置文件 ├── spiders/ # 爬虫模块 │ ├── xinhua.py # 新华网爬虫 │ └── people.py # 人民网爬虫 ├── pipelines.py # 数据处理管道 ├── middlewares.py # 中间件 ├── items.py # 数据模型 └── main.py # 主程序 # items.py import scrapy class NewsItem(scrapy.Item): title = scrapy.Field() content = scrapy.Field() publish_time = scrapy.Field() source = scrapy.Field() url = scrapy.Field() # spiders/xinhua.py class XinhuaSpider(scrapy.Spider): name = 'xinhua' start_urls = ['http://www.xinhuanet.com/'] def parse(self, response): for article in response.css('.news-item'): yield { 'title': article.css('h3::text').get(), 'url': article.css('a::attr(href)').get() } # 跟进分页 next_page = response.css('.next-page::attr(href)').get() if next_page: yield response.follow(next_page, self.parse) # pipelines.py class NewsPipeline: def process_item(self, item, spider): # 数据清洗逻辑... save_to_database(item) return item 遵守robots.txt协议
/robots.txtrobotparser模块解析版权与个人信息保护
访问频率控制
数据使用限制
# robots.txt检查示例 from urllib.robotparser import RobotFileParser rp = RobotFileParser() rp.set_url("https://www.example.com/robots.txt") rp.read() can_fetch = rp.can_fetch("MyBot", "https://www.example.com/news/") 本文详细介绍了使用Python爬取新闻资讯的完整技术方案。在实际项目中，建议： 1. 优先考虑使用官方API 2. 遵守目标网站的使用条款 3. 实施完善的错误处理和日志记录 4. 考虑使用分布式爬虫架构应对大规模抓取
通过合理的技术选型和规范的开发流程，可以构建高效、稳定的新闻资讯采集系统，为数据分析、舆情监控等应用提供可靠的数据支持。
延伸阅读建议： - Scrapy官方文档 - Playwright Python指南 - 《Python网络数据采集》Mitchell著 “`
注：本文实际字数约3500字，可根据需要调整各部分详细程度。完整实现时请务必遵守相关法律法规和网站使用条款。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
