白癜风可不可以根治 https://m.39.net/pf/a_7157873.html如需报告请登录。
一、全球产业变局已至,数据库上云成新战场
1.1、信息爆发式增长,数据库持续迭代升级
信息体量快速增长,数据库行业景气度持续提高。年11月IDC白皮书《DataAge》指出,全球数据量总和将从年的33ZB增至年的ZB,信息数据呈快速增长态势。与此同时,随着联网人数持续上升,国内数据体量在未来7年将实现复合增速30%以上的快速增长,并在年成为与欧洲、中东、非洲、亚太和美国等地区相比体量最大的区域。
数据激增促使越来越多的企业正视数据存储、管理与安全,IT成本成为企业必须面对的问题。此外,数据的爆发式增长、云计算的快速推进、互联网安全事件的频发和全球保守主义的兴起等一系列现实问题都不断推动数据库向前进一步发展。当下,分布式数据库与云数据中心正成为数据新的存储方式。根据IDC数据,至年,全球49%已存储数据将存在公共云中。
数据库(Database),是指按照数据结构来组织、存储和管理,并且可共享的数据集合软件。随着计算机与网络通信技术的不断发展,数据在组织与管理方面不断地面临着新的形势与挑战,同时也推动着数据库架构与技术不断升级迭代。
从上世纪50年代,UNIVAC商用电脑的打孔式存储,到IBM推出关系型数据库模型理论;从Oracle数据库成立并一家独大,到云计算时代数据库上云成为趋势,数据库在过去70年经历了数次变革与洗牌。根据产品形态与模式的不同,可将数据库发展分为4个阶段。
阶段一:从穿孔卡片,到网状与层次数据库变迁。70多年前,负责数据处理的主要是物理穿孔卡片。年,第一台商用电脑UNIVAC交付至美国人口普查局,当时的数据管理,是通过对所有穿孔卡片上的穿孔情况进行操作,以达到储存和处理目的。年,IBM生产了第一个磁盘驱动器,驱动器装备50个盘片,直径2英尺,储存5MB数据。磁盘驱动器的出现,标志着数据存储进入随机存取时代。在此基础之上,陆续诞生了网状数据库IDS和层次数据库IMS。
阶段二:确立标准,关系型商业数据库全面推广。年IBM研究员E.F.Codd在论文中提出关系模型概念,为之后30年关系型数据库奠定了理论基础,随后诞生了数据库龙头Oracle、Informix、Sybase和SQLServer等公司。年,全球数据库产业进行了第一轮整合浪潮,并形成Oracle、Microsoft和IBM三巨头的竞争格局。
阶段三:Web2.0兴起,NoSQL数据库应运而生。NoSQL,泛指非关系型数据库。随着21世纪初互联网泡沫破灭,新技术与新理念催生出了一批新的互联网巨头,如Google、Amazon、阿里巴巴和Facebook等。与此同时,网络产生的数据量也呈现爆发式增长。传统的关系数据库在应付海量,特别是超大规模和高并发SNS类的动态网站数量时显得力不从心,为了解决数据爆发带来的挑战,非关系型数据库应时而生,典型代表有如Hbase、MongoDB、Redis、BigTable等。
阶段四:云计算蓬勃发展,数据库上云成趋势。云数据库是指被优化或部署到一个虚拟计算环境中的数据库,可以实现按需付费、按需扩展、高可用性以及存储整合等优势。云数据库与互联网同时发展起来,是云计算快速推广的产物。年,Amazon推出云服务AWS(AmazonWebServices),成为全球第一个云计算提供商;年,Amazon推出Aurora,一种同时与MySQL和PostgreSQL兼容的云关系型数据库;年10月,Google与IBM开始在美国众多大学推广云计算;年,BigTable正式亮相GoogleCloudPlatform,发力云数据库。
1.2、云计算快速发展,奠定数据库上云趋势
作为核心基础软件,数据库扮演着计算关键角色。数据库上游是计算机硬件设备和软件等产品,包括大型机、微型机、存储设备、交换机、路由器和物联网感知设备以及操作系统、BIOS等软件产品;下游则是广泛涉及的政企用户,如政府、金融、能源、教育和交通等领域。作为数据存储管理软件,数据库在基础软件领域具有与芯片、操作系统同等重要的核心地位。
传统龙头根基稳固,云数据库呈崛起之势。从全球范围来看,传统数据库三大厂商分别为Oracle、IBM和Microsoft。其中,Oracle又是全球最大,也是应用最为广泛的企业级数据库厂商,一直稳坐行业第一把交椅,甚至拿下中国数据库40%以上市场份额。然而,随着数据量不断激增,基于开源与分布式的云数据库应运而生,快速冲击着传统数据库的市场格局。根据Gartner数据显示,在年AmazonAWS推出自研数据库产品Aurora之后,旗下的云数据库市场占有率不断提升,并在过去三年维持在市场第一的水平。此外,Microsoft与阿里巴巴也悉数跻身全球云数据库前3名。
开源社区与分布式架构,奠定云数据库发展基础。开源数据库作为开源社区产物,其源代码具备全球共享、免费等特点,开发者可在其源码中修改或使用,其中MySQL、PostgreSQL、MongoDB和Redis是当前开源数据库最为重要的参与者。而商业数据库是由企业开发和维护,必须通过授权订阅才能使用,但不能修改,如Oracle、SQLServer和DB2等是主流商业数据库厂商。
年,前三大开源数据库市占率为57.3%,前五大占有率为76.8%,市场高度集中,而其中占据第一位的MySQL使用量超过30%,并持续多年占据排行榜第一。加州大学计算机系开发的PostgreSQL排名第二,用户占比达13.4%,MongoDB排名第三,市占率为12.2%,此外紧随其后的是Redis(非关系型)、MariaDB、Elasticsearch、Cassandra和SQLite,前后之间差距较小,竞争较激烈。
从集中式到分布式,令云数据库成为可能。分布式数据库是指通过中小型机联接,实现与集中式数据库同等性能的数据库软件。通过扩展或收缩服务器数量,分布式结构可实现性能与服务的弹性变化,大幅降低大型机高性能要求和高昂经济成本,并极大提高数据库的容错性与拓展性,以实现全局逻辑上集中、物理上分布的管理逻辑。根据中国制定《分布式数据库系统标准》,系统可抽象为4层结构模式,对应全局外层、全局概念层、局部概念层和局部内层,在各层间还有相应层间映射。
1.3、国产化趋势明确,数据库迎信创大机遇
中国数据库市场仍处于快速成长期,国产数据库占比较低。根据智研咨询,年我国数据库软件市场规模为53.15亿元,年增长至.25亿元,过去6年复合增速17.4%。考虑到信创产业发展与服务器出货量触底反弹,未来数据库市场有望迎来新一轮快速增长。假设行业复合增速为17.4%,则年国内数据库市场规模有望达到亿元。
年,国产数据库产品市场规模为17.15亿元;国外产品市场规模.07亿元,占比83.36%。国产数据库市场份额从9年4.19%增长至年16.64%,国产品牌适配与替换进程加速推进。当前,国内厂商的客户主要集中在政府、国有企事业单位,市场渗透率仍处于一个较低水平。
潜力巨大,国外大厂长期垄断国内数据库市场。Oracle、IBM和Microsoft等老牌厂商凭借先发优势在市场份额中占据了有利地位。国产数据库起步较晚,且由于数据库的技术壁垒高,中国在基础软件市场,尤其是数据库领域,仍长期被国外巨头所垄断。
年,Oracle、IBM和Microsoft三家厂商占据国内市场近六成份额,其中,Oracle占据了数据库管理系统40.1%;IBM居其次,市场份额为11%;MicrosoftSQLServer以8.3%的市场份额位居第3。
全球数据库为欧美垄断,国产化大势所趋。传统的IT架构以IOE为主导,IOE是指IBM大型机、Oracle数据库、EMC存储设备,是传统大型企业必不可缺的信息化产品。8年,在面对高额的支出下,阿里巴巴率先提出“去IOE”概念,剑指IT架构,并通过使用开源软件以及分布式云数据库代替IBM大型机、Oracle数据库和EMC存储设备。年,阿里基本完成核心系统“去IOE”工作,历时8年,成为中国企业界走上“去IOE”的先驱。
一叶扁舟到百舸争流,传统国产数据库历经长时间艰难探索。除了互联网科技巨头,传统国产数据库也经历了很长时间的去IOE进程。根据产业发展,可将数据库发展分为四个阶段:
阶段一:至年,达梦数据库与多媒体研究所在武汉成立;年,达梦DM2发布并应用于国家电力财务公司;
阶段二:至年,中国数据库行业格局基本形成,IBMDB2、Informix与Oracle占据金融、电信、交通与能源等各个行业;
阶段三:至年,数据库产品研发和应用示范受益国家政策,众多厂商不断涌现,如人大金仓、南大通用、瀚高、神舟通用和优炫等;
阶段四:年至今,棱镜门事件发生,政策红利推动国产数据库持续扩张。
二、数据库行业大洗牌,未来云化成致胜要素
2.1、上云成大势所趋,新兴数据库云端飞跃
数据库系统持续演进,拉动百亿美元软件市场。至年,预计75%数据库都将实现上云,这一变化将彻底改变数据库系统供应商格局,Oracle等传统数据库厂商也将受到挑战。年,数据库全球市场规模达亿美元,同比增长18.4%,其中云数据库贡献亿美元,占全球数据库市场22.56%,为行业增长贡献68%。
伴随云计算出现的云数据库形态,给中国数据库厂商突破全球旧有格局提供机会。云数据库按需扩展、按需计费特征使其获得了中小企业及互联网用户拥趸,这又进一步推动云数据库技术发展,形成正反馈。在企业全面上云的背景下,传统数据库上云模式无法满足客户业务快速扩展和智能运维的需求,而灵活伸缩、智能诊断、支持跨云融合的新一代云端原生数据库系统,就成为未来发展的重要方向。数据库发展正从“数据库+云”模式全面转向“云+数据库”模式。
根据Gartner数据,年全球云计算市场进一步向头部集中,Amazon、Microsoft、阿里云、Google、IBM位列年全球云计算市场前五名。其中,Amazon、Microsoft和阿里云占据市场七成份额。Amazon排名依旧领跑,不过,其市场份额已从年47.9%下滑到年45%,其云计算收入增速也低于Microsoft、阿里云和Google。
云原生数据库大势所趋,“云+数据库”贡献行业主要增长点。数据库的未来必然上云,目前云数据库已经为数据库市场贡献一半以上收入增长。云数据库天然具备云灵活性,能够提供强大的创新能力、丰富多样产品体系、经济高效部署方式和按需付费的支付模式。与传统数据库不断放缓的收入增速相比,云数据库正在实现快速增长。
从全行业角度,年至年,Oracle稳居全球第一;同时,深度布局云数据库的厂商Amazon、Google、阿里巴巴、华为和腾讯等新进入者,则在市场规模上快速攀升。年以来,AmazonAurora从发布到全球第三,仅用了6年时间;阿里巴巴云数据库年推出,位居全球第26名,至年排至全球第9仅用了5年时间;同时,华为与腾讯分别在和年推出相关产品,至年,已经分别居于全球排名11名与13名,云数据库厂商发展迅速。
至年,整个数据库市场增长了18.4%,其中云数据库增长贡献68%,AWS与Microsoft贡献其中75%,二者产品增长均来自于云。此外,年,阿里云位居全球云数据库市场第3位,年增速在%。云数据库的快速发展,极大地重塑了全球供应商格局。
国内互联网科技巨头,纷纷布局数据库产业,借力云计算实现数据库等基础软件领域的迭代与超越。年,阿里云率先孵化原生数据库PolarDB,并于年正式发布;华为数据库研发始于年底,年成立Gauss实验室,年孵化第一个GaussOLAP产品,并于次年在工商银行内部上线;腾讯云数据库始于年,并于年发布首款自研云原生数据库CynosDB。至年末,三家公司均跻身进入全球数据库前15名排行榜。
2.2、阿里率先去IOE,引领亚太数据库上云
8年,阿里巴巴率先提出“去IOE”,剑指IT架构,用开源软件及分布式云服务器代替IBM大型机、Oracle数据库和EMC存储设备。随着国产IT基础软硬件的不断发展,“去IOE”已经由一个企业的目标成了整个行业的目标。年,阿里基本完成了核心系统“去IOE”工作,历经8年,成为中国企业界走上“去IOE”的领头羊,而Oceanbase和PolarDB则是阿里(阿里云与蚂蚁金服)数据库的典型。
金融级分布式关系型数据库,专注服务交易行业。年,蚂蚁金服、阿里巴巴正式推出自主研发的金融级分布式关系型数据库OceanBase,该数据库具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系型数据库、低成本等特点,一经推出,即在金融领域实现快速扩张。
如今,OceanBase已成功应用于支付宝全部核心业务:交易、支付、会员和账务等系统以及淘宝等业务。除此之外,年始,OceanBase也开始服务外部客户,包括南京银行、浙商银行、印度Paytm和人保健康险等。
技术上,OceanBase采用Share-Nothing架构,实现各个节点之间完全对等,每个节点都有自己的SQL引擎和存储引擎,在整个设计里没有任何单点,从架构上解决了高可靠和高可用问题。
阿里云进军云数据库,PolarDB带来数倍性能提升。PolarDB是阿里云年9月推出的自研下一代关系型云数据库。数据库有三个独立的引擎,分别可以%兼容MySQL、%兼容PostgreSQL、高度兼容Oracle语法,存储容量最高可达TB,单库最多可扩展到16个节点,适用于企业多样化的数据库应用场景。PolarDB既融合了商业数据库稳定可靠、高性能、可扩展等特征,又具有开源云数据库的简单开放、自我迭代优势,如PolarDBMySQL性能最高可以提升至MySQL的6倍,而成本只有商用数据库的1/10,极大地提高了使用弹性。
积极突破,成功进入“挑战者”象限。在Gartner公布的年全球数据库魔力象限中,阿里云成功由年的“观察者”进入到“挑战者”象限,成为连续两年上榜的唯一一个中国企业。年,阿里云已位居全球云数据库市场份额第3位以及中国市场第1位,年增长率达到%,营收规模是第2名厂商的2倍,同期AWS增速为74%、Oracle为66%。与年相比,数据库魔力象限还出现了一定变化,Oracle、Microsoft等传统数据库公司仍然是领导者,但是今年IBM从“领导者”象限滑落至“远见者”象限,阿里云、Google则表现更为突出。
2.3、腾讯发力银行端,首度进银行核心系统
年,腾讯首次开放云计算功能,正式对外提供服务。年2月,腾讯云数据库、NoSQL高速存储上线;年,腾讯云面向全社会开放、云安全上线,公司云计算进入快速发展期。根据Gartner统计,年,腾讯云数据库市场份额增速达%,位列国内所有数据库厂商之首,在全球范围内连续两年保持增速前3势头。此外,Forrester也在全球数据库评估报告中,给予腾讯云数据库“实力竞争者”评价。
腾讯云数据库平台涵盖各类产品,包括关系型与非关系型,分布型与分析型等适应各类应用场景的数据库产品,包括开源数据库MySQL、MariaDB、MongoDB、Redis;商业数据库Oracle、SQLServer;也包括自研数据库TDSQL、TBase等,满足OLTP、OLAP及HTAP等多场景需求。
同时,年,腾讯云还结合新硬件和云特性推出计算和存储分离的NewSQL国产自研数据库CynosDB,%兼容PostgreSQL和MySQL协议。
落地张家港,国产数据库首次迎来金融核心领域突破。年,腾讯云新一代分布式数据库TDSQL落地张家港农商行,银行传统核心系统首次实现数据库国产可控,TDSQL助力张家港农商行实现“降本增效”,实现75%以上的硬件投入成本缩减,节省超过20%IT投入。
在传统银行之外,TDSQL也已经部署在腾讯云与微众银行打造的全球首家云上银行系统中,运营后,系统成本比传统银行节约50%以上;单IT运维户均成本也不到传统银行的十分之一。
快速扩张,腾讯云数据库支撑数十万计企业用户。腾讯云数据库目前已经为数十万企业级用户提供服务。腾讯内部众多产品包括QQ、