内容
活动
关注

重磅干货免费下载!阿里云RDS团队论文被数据库顶会SIGMOD 2018收录

简介: 来自阿里云RDS团队的论文“**TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” (TcpRT:面向大规模海量云数据库的服务质量实时采集与诊断系统)**被数据库顶会SIGMOD 2018收录。

ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。

SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议。相对而言,SIGMOD比另外两个会议的含金量更高,被录取的难度更大。ACM SIGMOD的论文录取率是很低的,平均录取率大约仅为15%-17%。

来自阿里云RDS团队的论文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” (TcpRT:面向大规模海量云数据库的服务质量实时采集与诊断系统)被数据库顶会SIGMOD 2018收录。

TcpRT论文介绍了RDS天象系统在云数据库SLA数据采集、服务质量指标计算、异常检测、故障根因分析领域的创新工作,以及在各类云平台上大规模部署自动化服务的客户实践经验。

评委评价

I have plenty of experience with manual anomaly detection. That has wasted much time for me at work, so I liked what you described.

以下为SIGMOD 2018阿里云入选论文。

下载中文版:https://yq.aliyun.com/attachment/download/?id=5574
下载英文版:https://yq.aliyun.com/attachment/download/?id=5575

_

简介

随着企业上云趋势的日益热化,作为产业核心组件的数据库,已成为各大云计算公司增长最快的在线服务业务。作为中国第一大云数据库厂商,我们RDS团队致力于为用户提供稳定的云数据库服务。从本质上看,RDS是一个多租户DBaaS平台,利用轻量级KVM、Docker镜像等资源隔离技术将用户所购买的数据库实例部署在物理机上,按需分配资源并进行自动升降级,实现一套完全自动化的智能运维管理。

云数据库对客户业务的稳定性至关重要,因此快速发现云数据库性能出现异常,及时定位异常原因是云数据库厂商的一个挑战。TcpRT是阿里云数据库用来监控和诊断数据库服务质量的一个基础设施。TcpRT从主机TCP/IP协议栈的壅塞控制采集trace数据,计算数据库延迟和网络异常,在后台流式计算平台进行大规模实时数据分析和聚合,通过统计指标历史数据的柯西分布发现异常点,并通过同一台主机、交换机、proxy下所有实例一致性趋势的比例来计算不同组件发生异常的概率。

到目前为止,TcpRT以每秒采集2千万条原始trace数据、每天后台处理百亿吞吐数据、秒级检测异常的卓越性能在阿里云持续稳定运行三年。

本文贡献

  • 提出了一种新的对数据库服务质量进行采集的方法,基于内核壅塞模块实现,可以非侵入性、低代价的采集基于停等协议的关系数据库的per connection的延迟、带宽,分析用户使用数据库的模型(短连接和长连接),并且可以端到端的记录和量化基础网络服务质量对数据库服务质量的影响,包括丢包率、重传率。
  • 我们开发了一套对采集的原始数据进行数据清洗、过滤、聚合、分析的流式计算系统,系统可以做到水平扩展、容错性、实时性、Exactly Once,具有和其他大数据平台例如EMR、MaxCompute进行数据交换的能力
  • 我们提出了一个新的算法对TcpRT数据进行分析,来发现数据库的服务质量有无异常,并且对异常事件的根因进行定位

mulu

会议将于6月10日在美国休斯敦召开,论文也会公开发表,以下是相关信息。
Title:SIGMOD/PODS '18 International Conference on Management of Data
Houston, TX, USA — June 10 - 15, 2018
Pages:1846
Sponsor: SIGMOD ACM Special Interest Group on Management of Data
Publisher:ACM New York, NY, USA
ISBN:978-1-4503-4703-7
Conference:MODInternational Conference on Management of Data

扫码了解阿里云数据库
er

扫码关注云栖社区,获取更多干货
image

阿里云RDS产品点此了解:
https://www.aliyun.com/product/outline/index
阿里云自研智能云数据库POLARDB点此了解:
https://www.aliyun.com/product/polardb

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
1月前
|
SQL 关系型数据库 MySQL
阿里云RDS云数据库全解析:产品功能、收费标准与活动参考
与云服务器ECS一样,关系型数据库RDS也是很多用户上云必买的热门云产品之一,阿里云的云数据库RDS主要包含RDS MySQL、RDS SQL Server、RDS PostgreSQL、RDS MariaDB等几个关系型数据库,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,帮助您解决数据库运维的烦恼。本文为大家介绍阿里云的云数据库 RDS主要产品及计费方式、收费标准以及活动等相关情况,以供参考。
|
2月前
|
存储 NoSQL Redis
阿里云高性能数据库Tair(兼容 Redis)收费价格,稳定可靠成本低
阿里云高性能云数据库Tair兼容Redis,提供Redis开源版和Tair企业版,支持多种存储介质与灵活扩展,适用于高并发场景。Tair具备亚毫秒级稳定延迟,保障业务连续性。价格方面,Redis开源版年费从72元起,Tair企业版年费从1224元起,具体费用根据配置不同有所变化。
|
2月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
2月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
|
2月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
|
2月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
7月前
|
存储 关系型数据库 数据挖掘
【瑶池数据库动手活动及话题本周精选(体验ADB、 SelectDB,参与 RDS 迁移训练营)】(4.21-4.27)
本文为 “瑶池数据库动手活动及话题精选” 系列第一期,聚焦 SelectDB 日志分析、AnalyticDB Zero-ETL 集成、RDS 迁移训练营三大实战,设积分、实物等多重奖励,同步开启话题互动。点击链接参与,每周解锁数据库实战新场景。

推荐镜像

查看更多
下一篇