C段http_banner获取

#-*-coding=utf-8-*- # __author__  = 'sanr' # __email__   = '5754190@qq.com' # __url__     = 'http://0x007.blog.51cto.com/' # __version__ = '0.1' import requests import re from threading import Thread,Lock import time import sys import chardet import netaddr import struct import socket lock = Lock() def ip2int(addr):	return struct.unpack("!I", socket.inet_aton(addr))[0] def int2ip(addr):	return socket.inet_ntoa(struct.pack("!I", addr)) def int_dec(pagehtml):	'''	智能获取页面编码	第一步查找charset	第二步使用chardect智能匹配	'''	charset = None	if pagehtml != '':	# print 'use charset dect'	enc = chardet.detect(pagehtml)	# print 'enc= ', enc	if enc['encoding'] and enc['confidence'] > 0.9:	charset = enc['encoding']	if charset == None:	charset_re = re.compile("((^|;)\s*charset\s*=)([^\"']*)", re.M)	charset=charset_re.search(pagehtml[:1000]) 	charset=charset and charset.group(3) or None	# test charset	try:	if charset:	unicode('test',charset,errors='replace')	except Exception,e:	print 'Exception',e	charset = None	# print 'charset=', charset	return charset def http_banner(url):	ip=url	try:	url=requests.get(url,timeout=2)	body = url.content	charset = None	if body != '':	charset = int_dec(body)	if charset == None or charset == 'ascii':	charset = 'ISO-8859-1'	if charset and charset != 'ascii' and charset != 'unicode':	try:	body = unicode(body,charset,errors='replace')	except Exception, e:	body = ''	#获取状态码	Struts=url.status_code	#获取webserver信息	Server=url.headers['server'][0:13]	#获取title	if Struts==200 or Struts==403 or Struts==401:	title=re.findall(r"<title>(.*)<\/title>",body)	if len(title):	title = title[0].strip()	else:	title = ''	#输出加锁 防止第二行输入	#申请锁	lock.acquire()	print ('%s\t%d\t%-10s\t%s'%(ip.lstrip('http://'),Struts,Server,title))	#释放锁	lock.release()	except (requests.HTTPError,requests.RequestException,AttributeError,KeyError),e:	pass if __name__ == '__main__':	if len(sys.argv) >= 2:	ips = sys.argv[1]	else:	print 'usage: python http_banner.py 192.168.1./24 '	print 'usage: python http_banner.py 192.168.1.1-192.168.1.254 '	sys.exit()	if '-' in ips:	start, end = ips.split('-')	startlong = ip2int(start)	endlong = ip2int(end)	ips = netaddr.IPRange(start,end)	for ip in list(ips):	url='http://%s' %ip	t = Thread(target=http_banner,args=(url,))	t.daemon=False	t.start()	elif '/'	in ips:	ips = netaddr.IPNetwork(ips)	for ip in list(ips):	url='http://%s' %ip	t = Thread(target=http_banner,args=(url,))	t.daemon=False	t.start()