​python爬虫开发教程免费领取：https://pan.quark.cn/s/6ca1a2fd16dc
一、HTTP协议：爬虫的“对话语言”
想象你走进一家图书馆，想借一本《Python入门》。你需要先到前台登记（请求），馆员根据登记信息找到书（响应），最后把书交给你。HTTP协议就是爬虫与服务器之间的“对话规则”。

1.1 一次完整的HTTP请求流程

建立连接：爬虫（客户端）通过IP和端口（如80或443）找到服务器。
发送请求：包含方法（GET/POST）、路径（如/books/python）、请求头（如User-Agent）和可选请求体（如表单数据）。
服务器处理：服务器解析请求，查询数据库或生成动态内容。
返回响应：状态码（如200成功）、响应头（如Content-Type）和响应体（HTML/JSON数据）。
断开连接：默认短连接，可通过Connection: keep-alive复用TCP连接。
示例：用curl命令模拟请求

curl -X GET "https://example.com/api/books" \
-H "User-Agent: Mozilla/5.0" \
-H "Accept: application/json"

1.2 关键组件解析
请求方法：

GET：获取数据（如搜索页面），参数在URL中（?q=python）。
POST：提交数据（如登录表单），参数在请求体中。
状态码：

200：成功；404：页面不存在；500：服务器错误；403：权限不足（常因反爬触发）。
请求头：

User-Agent：标识客户端类型（浏览器/爬虫）。
Cookie：维持会话状态（如登录后保持登录状态）。
响应头：

Content-Type：指定数据格式（text/html或application/json）。
Set-Cookie：服务器返回的Cookie，需保存用于后续请求。
二、Python爬虫的“三板斧”
用Python写爬虫，核心是控制HTTP请求、解析响应数据、存储结果。

2.1 发送请求：从urllib到requests
原始方法：使用标准库urllib（复杂且易出错）

from urllib.request import urlopen, Request
req = Request("https://example.com", headers={"User-Agent": "Mozilla/5.0"})
response = urlopen(req)
print(response.read().decode("utf-8"))

推荐方法：第三方库requests（简洁强大）

import requests
response = requests.get("https://example.com", headers={"User-Agent": "Mozilla/5.0"})
print(response.text) # 自动解码为字符串

2.2 解析数据：HTML与JSON的“抽丝剥茧”
HTML解析：BeautifulSoup或lxml

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, "html.parser")
title = soup.find("h1").text # 提取标题
links = [a["href"] for a in soup.find_all("a")] # 提取所有链接

JSON处理：直接转为Python字典

import json
data = response.json() # 假设响应是JSON格式
print(data["books"][0]["title"])

2.3 存储数据：文件、数据库与CSV
保存到文件：

with open("output.html", "w", encoding="utf-8") as f:
f.write(response.text)

写入CSV：

import csv
with open("books.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["Title", "Author"])
for book in data["books"]:
writer.writerow([book["title"], book["author"]])

三、反爬虫与应对策略：道高一尺，魔高一丈
网站常通过IP限制、验证码、行为检测等手段阻止爬虫，需针对性破解。

3.1 IP封禁与代理池

问题：同一IP频繁请求会被封禁。
解决方案：
使用代理IP（如requests配合proxies参数）：

proxies = {"http": "http://123.123.123.123:8080"}
requests.get("https://example.com", proxies=proxies)

代理池工具：如scrapy-proxies或第三方服务（如站大爷）。
3.2 验证码识别

图形验证码：用Tesseract OCR或打码平台（如超级鹰）。
行为验证码（如滑块）：需模拟人类操作（Selenium拖动滑块）。
示例：用pytesseract识别简单验证码

import pytesseract
from PIL import Image
image = Image.open("captcha.png")
code = pytesseract.image_to_string(image)
print(code)

3.3 模拟浏览器行为

问题：JavaScript渲染的页面无法直接获取数据。
解决方案：
Selenium：控制真实浏览器（Chrome/Firefox）。

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
element = driver.find_element_by_id("content")
print(element.text)
driver.quit()

Playwright：更现代的替代方案，支持无头模式。

四、实战案例：爬取豆瓣电影Top250
目标：获取电影名称、评分、评价人数，保存为CSV。

4.1 分析页面结构

URL模式：https://movie.douban.com/top250?start=0（每页25条，start参数控制偏移量）。
数据位置：每部电影在