在Python的Spider爬虫中，可以使用多种方法进行URL去重。以下是一些建议：
使用集合（set）：
在处理爬取到的URL时，可以将它们添加到一个集合（set）中。集合中的元素是唯一的，因此可以用来去重。
urls = set() def process_url(url): if url not in urls: urls.add(url) # 处理URL的逻辑 使用数据库：
可以将爬取到的URL存储到数据库中，例如SQLite、MySQL等。在插入URL之前，先检查数据库中是否已经存在该URL。如果不存在，则插入并标记为已访问。
import sqlite3 def init_db(): conn = sqlite3.connect('urls.db') cursor = conn.cursor() cursor.execute('''CREATE TABLE IF NOT EXISTS urls (url TEXT PRIMARY KEY)''') conn.commit() return conn def save_url(conn, url): cursor = conn.cursor() cursor.execute('INSERT INTO urls (url) VALUES (?)', (url,)) conn.commit() def is_url_exists(conn, url): cursor = conn.cursor() cursor.execute('SELECT * FROM urls WHERE url = ?', (url,)) return cursor.fetchone() is not None def process_url(url, conn): if not is_url_exists(conn, url): save_url(conn, url) # 处理URL的逻辑 使用第三方库：
可以使用一些第三方库来处理URL去重，例如ratelimiter可以限制爬虫的爬取速度，scrapy-redis可以利用Redis进行分布式爬取和去重。
安装ratelimiter库：
pip install ratelimiter 使用ratelimiter进行URL去重：
from ratelimiter import RateLimiter from urllib.parse import urlparse class URLProcessor: def __init__(self, max_requests_per_second=10): self.rate_limiter = RateLimiter(max_requests_per_second) def process_url(self, url): with self.rate_limiter: parsed_url = urlparse(url) if not self.is_url_exists(parsed_url.netloc): self.save_url(parsed_url.netloc) # 处理URL的逻辑 def is_url_exists(self, netloc): # 检查数据库中是否已经存在该URL pass def save_url(self, netloc): # 将URL存储到数据库中 pass 这些方法可以根据实际需求进行选择和组合，以实现高效的URL去重。
