Beautiful Soup 是一个用于解析HTML和XML文档的Python库。它能够将复杂的HTML文档转换为一个复杂的树形结构，每个节点都是Python对象。Beautiful Soup 提供了简单易用的方法来遍历、搜索和修改文档树，使得从网页中提取数据变得非常容易。
在使用Beautiful Soup之前，首先需要安装它。可以通过以下命令使用pip进行安装：
pip install beautifulsoup4 此外，Beautiful Soup 依赖于解析器，常用的解析器有 html.parser、lxml 和 html5lib。html.parser 是Python标准库的一部分，无需额外安装。如果需要使用 lxml 或 html5lib，可以通过以下命令安装：
pip install lxml pip install html5lib 首先，我们需要将HTML文档解析为Beautiful Soup对象。以下是一个简单的例子：
from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ soup = BeautifulSoup(html_doc, 'html.parser') Beautiful Soup 提供了多种方法来查找标签。最常用的方法是 find() 和 find_all()。
find() 方法返回第一个匹配的标签。find_all() 方法返回所有匹配的标签。# 查找第一个 <p> 标签 first_p = soup.find('p') print(first_p) # 查找所有 <p> 标签 all_p = soup.find_all('p') print(all_p) 可以使用 .string 或 .get_text() 方法来获取标签的内容。
# 获取第一个 <p> 标签的内容 first_p_text = first_p.string print(first_p_text) # 获取所有 <p> 标签的内容 all_p_text = [p.get_text() for p in all_p] print(all_p_text) 可以使用 .get() 方法来获取标签的属性。
# 获取第一个 <a> 标签的 href 属性 first_a = soup.find('a') href = first_a.get('href') print(href) Beautiful Soup 支持使用CSS选择器来查找标签。可以使用 .select() 方法来使用CSS选择器。
# 查找所有 class 为 "sister" 的 <a> 标签 sisters = soup.select('a.sister') print(sisters) # 查找 id 为 "link2" 的 <a> 标签 link2 = soup.select_one('#link2') print(link2) Beautiful Soup 还支持使用正则表达式来查找标签。可以将正则表达式传递给 find() 或 find_all() 方法。
import re # 查找所有 href 属性包含 "example.com" 的 <a> 标签 example_links = soup.find_all('a', href=re.compile("example.com")) print(example_links) Beautiful Soup 提供了多种方法来遍历文档树。可以使用 .children、.descendants、.parent、.next_sibling 等属性来遍历文档树。
# 遍历第一个 <p> 标签的所有子节点 for child in first_p.children: print(child) # 遍历第一个 <p> 标签的所有后代节点 for descendant in first_p.descendants: print(descendant) # 获取第一个 <a> 标签的父节点 parent = first_a.parent print(parent) # 获取第一个 <a> 标签的下一个兄弟节点 next_sibling = first_a.next_sibling print(next_sibling) Beautiful Soup 还允许修改文档树。可以修改标签的内容、属性，甚至添加或删除标签。
# 修改第一个 <a> 标签的 href 属性 first_a['href'] = 'http://example.com/new-link' # 修改第一个 <p> 标签的内容 first_p.string = 'New content' # 添加一个新的 <a> 标签 new_a = soup.new_tag('a', href="http://example.com/new") new_a.string = 'New Link' first_p.append(new_a) # 删除第一个 <a> 标签 first_a.decompose() print(soup.prettify()) 以下是一个简单的例子，演示如何使用Beautiful Soup爬取网页的标题。
import requests from bs4 import BeautifulSoup url = 'http://example.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') title = soup.title.string print(title) 以下是一个例子，演示如何使用Beautiful Soup爬取网页中的所有图片链接。
import requests from bs4 import BeautifulSoup url = 'http://example.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') images = soup.find_all('img') for img in images: src = img.get('src') print(src) 以下是一个例子，演示如何使用Beautiful Soup爬取网页中的表格数据。
import requests from bs4 import BeautifulSoup url = 'http://example.com/table' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') table = soup.find('table') rows = table.find_all('tr') for row in rows: cells = row.find_all('td') data = [cell.get_text() for cell in cells] print(data) Beautiful Soup 会自动处理编码问题，但有时可能需要手动指定编码。可以使用 response.encoding 来设置编码。
response.encoding = 'utf-8' soup = BeautifulSoup(response.text, 'html.parser') Beautiful Soup 只能解析静态HTML内容。如果需要处理动态加载的内容，可以使用Selenium等工具来模拟浏览器行为。
可以使用多线程或异步请求来提高爬虫的效率。此外，可以使用缓存来避免重复请求。
Beautiful Soup 是一个功能强大且易于使用的Python库，适用于从HTML和XML文档中提取数据。通过掌握其基本用法和高级用法，可以轻松应对各种网页爬取任务。希望本文能帮助你更好地理解和使用Beautiful Soup。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
