Python练习【爬取银行网站信息】

功能实现

爬取所有银行的银行名称和官网地址(如果没有官网就忽略)，并写入数据库； 银行链接: http://www.cbrc.gov.cn/chinese/jrjg/index.html

---

编程思路

1.利用url访问页面并获取页面信息 2.利用正则表达式对页面信息进行筛选，获取我们需要的信息 3.保存至Mysql数据库中

---

1.获取网页信息并保存至文件

from urllib.request import urlopen # 获取页面信息 def getPageInfo(url): pageInfo = urlopen(url) content = pageInfo.read().decode('utf-8') return content # 主函数 def main(): url = 'http://www.cbrc.gov.cn/chinese/jrjg/index.html' pageInfo = getPageInfo(url) print(pageInfo)

• 一些网站常常通过判断 UA（User-Agent用户代理） 来给不同的操作系统、不同的浏览器发送不同的页面，因此可能造成某些页面无法在某个浏览器中正常显示，但通过伪装 UA 可以绕过检测。

  查看浏览器UA

  

  获取页面信息

def main(): url = 'http://www.cbrc.gov.cn/chinese/jrjg/index.html' #修改UA，伪装成浏览器，以获取相应页面 user_agent = "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko Core/1.63.6788.400 QQBrowser/10.3.2864.400" reqObj = request.Request(url, headers={'User-Agent': user_agent}) pageInfo = getPageInfo(reqObj) print(pageInfo)

---

保存到文件方便查看

# 保存到文件pageContent def saveInfo(data): with open('doc/pageContent','w+',encoding='utf-8') as f: f.write(data)

---

2.利用正则筛选所需信息

图中是获取的页面信息中所需信息中的一例 需要获取其中的 网址 和 银行名称 使用的正则表达式为'<a href="(http.*?)".*?>\s+(.+?)\s+?</a>' 这里注意利用\s+匹配额外的\t和\n

# 利用正则匹配获取信息 def getInfo(data): pattern = r'<a href="(http.*?)".*?>\s+(.+?)\s+?</a>' info = re.findall(pattern ,data) print(info)

匹配到的信息：

---

3.保存数据至数据库

首先在mysql中创建一个名为bankUrl的数据库

连接数据库

## 连接数据库 conn = pymysql.connect( host='localhost', # 主机名 user='root', # 用户名 password='mysql', # 密码 database='bankUrl', # 连接对应数据库 charset='utf8', # utf-8编码 autocommit=True # 自动提交数据 ) cur = conn.cursor() # 创建游标 # 删除重建表格来刷新每次写入的数据 cur.execute('drop table bankurl') creatTableSql = 'create table if not exists bankUrl(银行名称 varchar(20),网址 varchar(100))default charset=utf8;' cur.execute(creatTableSql) # 写入数据库 for item in getInfo(pageInfo): insertSql = 'insert into bankUrl(银行名称,网址) value("{1}","{0}")'.format(item[0],item[1]) cur.execute(insertSql)

---

完整代码：

import re import time from urllib import request from urllib.request import urlopen import pymysql def timeCounter(fun): def wrapper(*arg ,**kwargs): startTime = time.time() fun(*arg,**kwargs) endTime = time.time() print(fun.__name__+'运行时间为%.2f'%(startTime-endTime)) return wrapper # 获取页面信息 def getPageInfo(url): pageInfo = urlopen(url) content = pageInfo.read().decode('utf-8') return content # 保存页面信息到文件 def saveInfo(data): with open('doc/pageContent','w+',encoding='utf-8') as f: f.write(data) # 利用正则匹配获取信息 def getInfo(data): pattern = r'<a href="(http.*?)".*?>\s+(.+?)\s+?</a>' info = re.findall(pattern ,data) return info @timeCounter def main(): url = 'http://www.cbrc.gov.cn/chinese/jrjg/index.html' user_agent = "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko Core/1.63.6788.400 QQBrowser/10.3.2864.400" reqObj = request.Request(url, headers={'User-Agent': user_agent}) pageInfo = getPageInfo(reqObj) # saveInfo(pageInfo) conn = pymysql.connect( host='localhost', user='root', password='mysql', database='bankUrl', charset='utf8', autocommit=True, # 如果插入数据，， 是否自动提交? 和conn.commit()功能一致。 ) cur = conn.cursor() # cur.execute('create database if not exists bankUrl；') cur.execute('drop table bankurl') creatTableSql = 'create table if not exists bankUrl(银行名称 varchar(20),网址 varchar(100))default charset=utf8;' cur.execute(creatTableSql) for item in getInfo(pageInfo): insertSql = 'insert into bankUrl(银行名称,网址) value("{1}","{0}")'.format(item[0],item[1]) cur.execute(insertSql) if __name__ == '__main__': main()

---

查询结果