怎么用python写一个爬虫

要用Python编写一个简单的爬虫，你可以使用requests库来获取网页内容，然后使用BeautifulSoup库来解析HTML并提取所需信息。以下是一个简单的示例：

1. 首先，确保已经安装了requests和beautifulsoup4库。如果没有安装，可以使用以下命令安装：

pip install requests beautifulsoup4 

2. 创建一个名为simple_crawler.py的文件，并在其中编写以下代码：

import requests from bs4 import BeautifulSoup def get_page(url): try: response = requests.get(url) response.raise_for_status() return response.text except requests.exceptions.RequestException as e: print(f"Error fetching {url}: {e}") return None def parse_page(html): soup = BeautifulSoup(html, "html.parser") # 提取页面中的所有链接 links = soup.find_all("a") for link in links: href = link.get("href") if href and href.startswith("http"): print(href) def main(): url = input("Enter the URL of the webpage you want to crawl: ") html = get_page(url) if html: parse_page(html) if __name__ == "__main__": main() 

3. 运行这个脚本，输入你想要抓取的网页URL，然后按回车键。脚本将输出该网页上的所有HTTP链接。

注意：这个示例仅适用于简单的网页抓取。实际应用中，你可能需要根据具体需求对爬虫进行更复杂的定制，例如处理相对URL、限制爬取深度、避免重复访问等。此外，对于大型网站，你可能还需要考虑使用异步请求库（如aiohttp）来提高抓取速度。