温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

python怎么转移数据库里的数据

发布时间:2021-04-29 10:37:59 来源:亿速云 阅读:237 作者:小新 栏目:编程语言

这篇文章主要介绍了python怎么转移数据库里的数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

python的数据类型有哪些?

python的数据类型:1. 数字类型,包括int(整型)、long(长整型)和float(浮点型)。2.字符串,分别是str类型和unicode类型。3.布尔型,Python布尔类型也是用于逻辑运算,有两个值:True(真)和False(假)。4.列表,列表是Python中使用最频繁的数据类型,集合中可以放任何数据类型。5. 元组,元组用”()”标识,内部元素用逗号隔开。6. 字典,字典是一种键值对的集合。7. 集合,集合是一个无序的、不重复的数据组合。

1、常见数据库

(1)Scikit-learn:需要复盖特征工程、模型训练和模型测试所有功能的程序库,Scikit-learn是最好的选择。这个优秀的免费软件可以提供机器学习和数据挖掘所需的所有工具,现在是python机器学习的标准库,建议使用成熟的机器学习算法。

(2)NLTK:虽然不是机器学习的程序库,但它是自然语言处理所必需的库。除了文本处理功能之外,它还包括聚类、分词、词干提取、标记、分析等大量数据集和其他关于词法的资源。

2、转移数据

基于Python2.7的版本环境,Python实现了数据库的跨服务器迁移,每次提交查询都要5000条,代码中每个查询提交的数量可以自己改变。

# -*- coding: utf-8 -*-   import MySQLdb import time import warnings   warnings.filterwarnings("ignore")     class ConnectMysql(object):     def __init__(self): #         这里设置分页查询, 每页查询多少数据         self.page_size = 5000       def getTable(self):         conn = MySQLdb.connect(             host="***.***.**.**",             user="****",             passwd="*************",             db='****',             charset='utf8'         )         conn_local = MySQLdb.connect(             host="********************************",             user="**********",             passwd="********",             db='*******',             charset='utf8'         )         cur = conn.cursor()         cur_local = conn_local.cursor()         cur.execute('show tables')         tables = cur.fetchall()         for table in tables:             print str(table[0]).lower()             # 需要迁移的数据库查询表的列数             cur.execute("SELECT COUNT(*) FROM information_schema.COLUMNS WHERE table_schema='china' AND table_name='" + table[0] + "'")             table_col_count = cur.fetchone()             # print table_col_count[0]             # 需要迁移的数据库查询表的结构             cur.execute('show create table ' + table[0])             result = cur.fetchall()             create_sql = result[0][1]             # 查询需要迁移的数据库表的数据条数             cur.execute('select count(*) from ' + table[0])             total = cur.fetchone()             page = total[0] / self.page_size             page1 = total[0] % self.page_size             if page1 != 0:                 page = page + 1               # 阿里云数据库创建表             cur_local.execute("SELECT table_name FROM information_schema.`TABLES` WHERE table_schema='user' AND table_name='" + str(table[0]).lower() + "'")             table_name = cur_local.fetchone()             if table_name is None:                 cur_local.execute(create_sql)             for p in range(0, page):                 while True:                     try:                         print '开始', table[0], '的第', p + 1, '页查询'                         if p == 0:                             limit_param = ' limit ' + str(p * self.page_size) + ',' + str(self.page_size)                         else:                             limit_param = ' limit ' + str(p * self.page_size + 1) + ',' + str(self.page_size)                         cur.execute('select * from ' + table[0] + limit_param)                         inserts = cur.fetchall()                         print '查询成功'                         param = ''                         for i in range(0, table_col_count[0]):                             param = param + '%s,'                         print '开始插入'                         cur_local.executemany('replace into ' + table[0] + ' values (' + param[0:-1] + ')', inserts)                         print table[0], '的第', p + 1, '页, 插入完成, 还有', page - p - 1, '页, 任重而道远'                         conn_local.commit()                         break                     except Exception as e:                         print e                         time.sleep(60)                         cur = conn.cursor()                         cur_local = conn_local.cursor()                 print table[0], ' 插入完成'                 print '\n \n ======================================================================== \n\n'         cur_local.close()         conn_local.close()         cur.close()         conn.close()     if __name__ == '__main__':     conn_mysql = ConnectMysql()     conn_mysql.getTable()

感谢你能够认真阅读完这篇文章,希望小编分享的“python怎么转移数据库里的数据”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI