MySQL · 引擎特性 · 像NOSQL那样使用MySQL

前言

最近Release的MySQL5.7.12增加了新的协议支持，通过X Plugin实现，同时增加了新的客户端API，开发者可以通过API来把MySQL作为document store的服务端，可以完成和MongoDB类似的document操作，例如支持CRUD等操作，但底层存储依然支持传统数据库的ACID，操作本身在底层也被扩展成标准SQL。从目前的MySQL来看，NOSQL和传统数据库的界限越来越小。目前这个特性还未Production Ready，建议仅用于测试环境。

本文只是记录下学习过程的笔记，不涉及任何内核实现知识。

相关概念

JSON
MySQL从5.7开始支持相对完整的JSON，并开发了完整的JSON函数(WL#7909)

Generated Column
通过表达式的方式来定义列，可以是虚拟的（查询时计算），也可以是物理存储的（DML时变更到文件）

Document
document存储的是一堆key-value的集合，通常使用JSON来进行描述。

Colllection
用于存储Document的容器，在MySQL里表现为一张普通的InnoDB表, 每行存储一个document

CRUD操作
即四种对Document的操作，包括CREATE, READ, UPDATE, DELETE

X PLUGIN及X PROTOCOL
X PLUGIN是官方新引入的插件，需要显式安装到服务器上，主要用于处理来自X协议的请求。用户通过X DevAPI发送基于X Protocol的请求到服务器端，请求可以是异步的，也可以是同步的。

准备工作

安装：

1. 手动编译安装MySQL5.7.12
2. 需要安装protobuf库: yum install protobuf
3. 下载新的命令行shell并安装
4. 启动MySQL，并安装X Plugin： INSTALL PLUGIN mysqlx SONAME 'mysqlx.so'

文档学习

1. X DevAPI用户手册
2. 新的命令行Shell文档
3. 官方文档
4. 官方Youtube视频
5. X Plugin的Worklog WL#8338

6. 官方博客系列文章:

   • More than a Maintenance Release
   • MySQL 5.7.12 – Part 2: Improving the MySQL Protocol
   • MySQL 5.7.12 – Part 3: More Than “Just” SQL?
   • MySQL 5.7.12 – Part 4: A new MySQL Command Line Shell
   • MySQL 5.7.12 – Part 5: Connector/Node.js
   • MySQL 5.7.12 – Part 6: MySQL Document Store – A New Chapter in the MySQL Story

以下所有的操作API你都可以从官方的文档上获取到

登录

当前shell支持三种模式：JavaScript，Python以及传统的SQL模式。对于SQL模式，你需要在启动客户端时指定--sql，如果不指定，则默认登录模式为javascript

$mysqlsh -S /u01/my57/run/mysql.sock --sql -usb test Creating a Node Session to sb@localhost:33060/test Enter password: Default schema `test` accessible through db ... 然后从sql模式可以切换到别的模式： mysql-sql> select database(); +------------+ | database() | +------------+ | test | +------------+ 1 row in set (0.00 sec) mysql-sql> \py Switching to Python mode... mysql-py>session.sql("select database()"); +------------+ | database() | +------------+ | test | +------------+ 1 row in set (0.00 sec) mysql-py>\js Switching to JavaScript mode... mysql-js> session.sql("select database()"); +------------+ | database() | +------------+ | test | +------------+ 1 row in set (0.00 sec) 

下文我们以javascript为例进行阐述。

schema操作

schema在MySQL里对应的就是一个database，包含操作如下：

/* 创建Schema */ mysql-js> session.getSchemas() { "information_schema": <Schema:information_schema>, "mysql": <Schema:mysql>, "performance_schema": <Schema:performance_schema> } mysql-js> session.createSchema('sb1') <Schema:sb1> mysql-js> session.createSchema('sb2') <Schema:sb2> mysql-js> session.getSchemas() { "information_schema": <Schema:information_schema>, "mysql": <Schema:mysql>, "performance_schema": <Schema:performance_schema>, "sb1": <Schema:sb1>, "sb2": <Schema:sb2> } mysql-js> session.createSchema('test') <Schema:test> /* 删除Schema */ mysql-js> session.dropSchema('sb1') Query OK, 0 items affected (0.00 sec) mysql-js> session.dropSchema('sb2') Query OK, 0 items affected (0.00 sec) 

Collection操作

相关操作：

mysql-js> db <Schema:test> mysql-js> db = session.getSchema('test') <Schema:test> /* 创建Collection */ mysql-js> db.createCollection("sbtest1") <Collection:sbtest1> mysql-js> db.createCollection("sbtest2") <Collection:sbtest2> /* 获取Collection */ mysql-js> db.getCollections() { "sbtest1": <Collection:sbtest1>, "sbtest2": <Collection:sbtest2> } /* 获取某个collection */ mysql-js> db.getCollection("sbtest1"); <Collection:sbtest1> mysql-js> coll=db.getCollection("sbtest1"); <Collection:sbtest1> mysql-js> coll.find() Empty set (0.00 sec) mysql-js> coll.add({Name: "zhai weixiang"}); Query OK, 1 item affected (0.00 sec) mysql-js> coll.find() [ { "Name": "zhai weixiang", "_id": "944d76235812e611c867200bc7293cfa" } ] 1 document in set (0.00 sec) /* 删除Collection */ mysql-js> session.dropCollection('test','sbtest2'); Query OK (0.00 sec) mysql-js> db.getCollections(); { "sbtest1": <Collection:sbtest1> } 

所谓的collection，在物理存储上就是一张普通的InnoDB表，并且这些表具有相同的表定义

mysql> show tables; +----------------+ | Tables_in_test | +----------------+ | sbtest1 | | sbtest2 | +----------------+ 2 rows in set (0.00 sec) mysql> show create table sbtest1\G *************************** 1. row *************************** Table: sbtest1 Create Table: CREATE TABLE `sbtest1` ( `doc` json DEFAULT NULL, `_id` varchar(32) GENERATED ALWAYS AS (json_unquote(json_extract(`doc`,'$._id'))) STORED NOT NULL, UNIQUE KEY `_id` (`_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 1 row in set (0.00 sec)

这个自动创建的表上包含两列：doc列的类型为JSON,另一个列为generated column, 从document的_id上提取。_id由MySQL自动生成，你可以显式指定，但需要保证唯一性。

document操作

完整的CRUD的执行见官方文档图示，以下仅尝试了下简单的操作

/* 创建document */ mysql-js> db = session.getSchema('test') <Schema:test> mysql-js> coll=db.getCollection("sbtest1"); <Collection:sbtest1> mysql-js> coll.add({Name: "zhai weixiang"}); Query OK, 1 item affected (0.00 sec) mysql-js> coll.find() [ { "Name": "zhai weixiang", "_id": "da3f9cb56712e61154d7200bc7293cfa" } ] 1 document in set (0.00 sec) mysql-js> coll.add({'name': 'zhai', 'age': 18}) Query OK, 1 item affected (0.00 sec) mysql-js> coll.add([ {'name': 'zhaiwx', 'age': 17},{'name': 'zhaiweixiang', 'age': 16} ]) Query OK, 2 items affected (0.00 sec) mysql-js> coll.find() [ { "_id": "4ccd04526812e61154d7200bc7293cfa", "age": 16, "name": "zhaiweixiang" }, { "_id": "b2cb04526812e61154d7200bc7293cfa", "age": 17, "name": "zhaiwx" }, { "_id": "c84e9a3c6812e61154d7200bc7293cfa", "age": 18, "name": "zhai" }, { "Name": "zhai weixiang", "_id": "da3f9cb56712e61154d7200bc7293cfa" } ] 4 documents in set (0.00 sec) /* 查询Document */ mysql-js> coll.find('age < 18') [ { "_id": "4ccd04526812e61154d7200bc7293cfa", "age": 16, "name": "zhaiweixiang" }, { "_id": "b2cb04526812e61154d7200bc7293cfa", "age": 17, "name": "zhaiwx" } ] 2 documents in set (0.00 sec) /* 更新Document */ mysql-js> coll.modify("name = 'zhaiweixiang'").set("age",22) Query OK, 1 item affected (0.00 sec) mysql-js> coll.find("name = 'zhaiweixiang'") [ { "_id": "4ccd04526812e61154d7200bc7293cfa", "age": 22, "name": "zhaiweixiang" } ] 1 document in set (0.00 sec) /* 删除Document */ mysql-js> coll.remove("name = 'zhaiweixiang'") Query OK, 1 item affected (0.00 sec) mysql-js> coll.find("name = 'zhaiweixiang'") Empty set (0.00 sec) /* 创建索引 */ mysql-js> coll.createIndex("_age").field("age", "INTEGER", false).execute() Query OK (0.19 sec) /*上述语句在服务器端执行时转换成SQL: ALTER TABLE `test`.`sbtest1` ADD COLUMN ` $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C` INTEGER GENERATED ALWAYS AS (JSON_EXTRACT(doc, '$.age')) VIRTUAL , ADD INDEX `_age` (` $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C`) 会创建出一个虚拟列，并基于其上建立二级索引 */ /* 删除索引，会将索引和虚拟列同时删除 */ mysql-js> coll.dropIndex("_age").execute() Query OK (0.18 sec) /* 支持事务操作，可以通过如下3个接口开启、提交、回滚事务 */ mysql-js> session.startTransaction() Query OK, 0 items affected (0.00 sec) mysql-js> session.commit() Query OK, 0 items affected (0.00 sec) mysql-js> session.rollback() Query OK, 0 items affected (0.00 sec) 

关系表操作

除了操作JSON外，你还可以通过新的命令行shell来进行其他表的操作。

/* 在普通的终端下创建一张表 */ create table t1 (a int, b int); /* 查询表 */ mysql-js> tb = db.getTable('t1') <Table:t1> /* 插入数据 */ mysql-js> tb.insert().values(1,2) Query OK, 1 item affected (0.00 sec) mysql-js> tb.insert('a','b').values(2,3) Query OK, 1 item affected (0.01 sec) /* 查询数据 */ mysql-js> tb.select(['a', 'a + b']).where ('b < :b').bind('b',10).execute() +---+-------------+ | a | (`a` + `b`) | +---+-------------+ | 1 | 3 | | 2 | 5 | +---+-------------+ 2 rows in set (0.00 sec) /** 实际在服务器端执行的SQL为 SELECT `a`,(`a` + `b`) FROM `test`.`t1` WHERE (`b` < 10) */