张家港

首页 » 常识 » 问答 » 腾讯云数据库火速拿下2000家金融客
TUhjnbcbe - 2023/7/11 21:25:00

近年来,金融行业数据泄漏事故频发,远高于其他行业。

通过永安在线数据资产泄露风险监测平台统计,金融行业是数据资产泄露的主要来源,占到了42%,而数据资产泄露高发的互联网行业也只排名第二,占27%。出现这种情况是因为金融行业涉及到的人群大多是高净值人群,数据转化率高,变现能力强。

腾讯云数据库TDSQL首席架构师张文认为:“虽然企业数据安全不只依靠数据库,但数据库一定要做这种最后一根救命稻草的保障。”

张文还介绍到,“数据的误删、误操作,对于一些银行客户而言,可能一年或者几个月都不会发生一次,但是,我们面对着云上的客户,每天都有客户误删、误操作,在这方面TDSQL积累、总结了大量的经验、教训。对此,我们也有很多的解决方案包括SQL防火墙、透明加密、自动备份等——如何更快速的帮助用户找回数据、恢复其可用性,经过这么多年的打磨,我认为我们是非常专业的。”

恰逢新年,雷锋网《AI金融评论》邀请到张文参加「银行业AI生态云峰会」,他分享了腾讯云是如何在「银行数据库」这一领域深耕发展;如何在国外商用数据库的“压力”下,突破求生,拿下多个银行核心系统大单。

目前「银行业AI生态云峰会」已成功举办4场,微众银行区块链安全科学家严强、达观数据联合创始人纪传俊、腾讯云数据库TDSQL首席架构师张文、阿里云金融科技AI产品负责人王巍给观众带来了十分精彩的演讲,后续还将有数科首席科学家张家兴、融慧金科董事长兼CEO王劲、华为云FusionInsight首席架构师徐礼峰、摸象科技董事长高鹏等众多大咖前来分享最新、最有货的科技观点。

以下为张文的演讲内容,雷锋网AI金融评论作了不改变原意的编辑:

大家晚上好,很高兴能在雷锋网这个平台带来关于分布式数据库的分享,今天主要的议题是《腾讯云分布式数据库在银行核心系统的改造实践》。

众所周知,年12月24日,腾讯云数据库官宣TDSQL品牌整合升级计划,集中发力数据库技术创新突破。腾讯云原有的TDSQL、TBase、CynosDB三大产品线统一升级为“腾讯云企业级分布式数据库TDSQL”。全新升级后的腾讯云TDSQL将涵盖金融级分布式、分析型、云原生等多引擎融合的完整数据库产品体系。本次分享将主要以金融级分布式版TDSQL的实践进行介绍,下述以“TDSQL”为简称。

基础技术创新背景与当前行业趋势分析

银行的“核心系统”,对于数据库厂商而言是一个比较大的挑战。

银行,我们都知道有核心系统和外围系统,核心系统是银行心脏中的心脏。

银行的核心系统改造,对于数据库厂商而言是一个很大的考验。数据库厂商需要面对包括数据的一致性、高可用,以及SQL的兼容性等等一系列复杂问题。

信息技术创新的大势所趋

过去我们的核心系统,包括银行核心,还有一些*务核心系统,对外国厂商的依赖度超过了90%,包括软、硬件,硬件主要是依赖于国外的大型机,小型机。

软件方面,像操作系统和数据库软件,整个一套技术架构都采用的是国外的产品。直到现在,在技术自主创新大趋势浪潮下,从硬件到软件,我们逐步在进行国产化的探索。

硬件上,我们开始尝试用基于X86或者是ARM的国产化硬件,以构成底层的硬件平台;软件上,从操作系统到数据库,包括一些中间件,在国产化方面近几年涌现出了很多基础类软件。

所以,现在整体的技术导向是:从软件到硬件整个基础平台开始向国产化的态势发展,而不仅仅局限于数据库。

金融级分布式数据库的挑战与难点

分布式数据库的挑战(技术层面)

对于分布式数据库而言,如何迎合这样的契机和挑战?

为什么早期国外的商用数据库和商用的基础软件,在国内的银行、*务系统占据了大量份额?大部分企业选择这些基础软件,主要诉求是其稳定性。以稳定性为口碑,经过多年打磨,因而国外厂商的这些软件占据了垄断性的地位。

这种垄断性地位在短时间内是不容易被打破的,因为它有个长时间的市场效应,对于使用国外软件的这些厂商而言,一旦涉及到替换或者升级,就容易产生一些兼容性问题,还有一些迁移成本和改造难度等问题。

对于国产的分布式数据库,如果想要切入*务及银行系统,首先需要打破长期被国外商用数据库建立起来的一系列壁垒,这些壁垒对于国产物数据库是一系列的挑战点。

强一致性高可用

作为金融级数据库,可用性和数据强一致性是至关重要的,因为在金融场景下,一条数据的价值是无法估量的,没法评估它到底是错了一分钱还是一个亿,或者更多,所以金融级高可用是国产分布式数据库首要面对的一个挑战。

性能成本

在国产化方面主要基于廉价存储,因为在分布式的架构下,可以实现线性水平扩展。但是数量对于分布式数据库而言,并不是一昧的堆机器、堆存储、堆计算,那样实际上是很浪费资源的。分布式数据库组成一个较大的集群,假如有上千台机器,那么如果在性能方面提高20%,就能节省上百台的机器,甚至能节省出来一个机房。

所以,性能成本也是分布数据库一直在探索的以较低的成本获取较高的性能,这也是我们追求的一个性价比。

水平伸缩

对于分布式数据库,水平伸缩能力是必须要具备的,因为分布式数据库在互联网场景算是需要比较常态化的水平伸缩。

例如应对如双11购物节、春晚红包的突增流量,需要有一个迅速的弹性扩展能力以承载这些流量。而业务有峰值就有谷值,活动结束后,需要再将这些资源进行回收。这种水平伸缩能力,是分布式数据库应当具备的基本点,任何分布式数据库都需要具备这种可伸缩、可拓展的能力。

产品化程度

产品化程度是用户能否快速上手的关键。

比如从一个传统的集中式数据库转换到分布式数据库,尤其是对于一些*企类、金融客户而言,他们能否从传统观念或者传统数据库的环境下,过渡到分布式数据库的环境和条件,这类客户其网络往往跟外网是隔离的,也就是在用户出了问题之后,我们没法第一时间登录他的环境,帮助其进行调试,就需要他自助的完成。

如果没有比较成熟且产品化的一套解决方案,用户出了问题只能7x24小时找到厂商解决,非常低效。所以,产品化程度也是至关重要的。

早期那些国外的商务数据库也是历经多年打磨,才慢慢的让这些传统厂商的数据库团队、科技团队接受的。

关键案例

前面几点做得再好、再花哨,如果是没有关键案例的验证,一切都是竹篮打水一场空,“实践是检验真理的唯一标准”,做得再好都需要有案例加以证明其可行性,对于分布式数据库的挑战,最重要的一点也是最为关键的一点,就是实实在在的案例。

如果没有人用,大家都处于观望状态。关键案例是分布式数据库面临的最大挑战,目前来看,国内的传统厂商、银行、*企,还是外企的份额居多,国内的分布式数据库也是在近几年才杀出一条血路。

所以,关键案例方面,除了需要TDSQL,也需要所有的友商共同探索,将关键案例不断的迭代、铺开,有了更多案例的证明,国产分布式数据库的影响力也好,口碑也罢,包括大家的接受程度,才能慢慢地得到提高。

分布式数据库的挑战(非技术层面)

这里的非技术层次的挑战更偏向于产品侧,主要分为以下4个挑战:

质量可靠

对于一款分布式数据库,需要经过大量业务的验证,产品在成熟或者说正式用于外部之前,一定需要经过内部的打磨和锤炼,像TDSQL数据库,我们往往都是在内部打磨得非常成熟后才将其推向外部。

因为我们的内部场景非常多,腾讯也有很多业务线,例如在类金融场景、社交场景、医疗健康、互动娱乐,以及各种各样的公有云的场景加以打磨。

我们秉承着对自己产品认真、负责的态度,先经过内部的打磨才推送到外部客户。因为将产品推送到外部客户时,实际上已经是一个黑盒的环境,要求我们一定要在内部尽可能的提前发现一些比较关键和显而易见的问题,比如用户的体验性和一些使用方面的问题。

持续投入

数据库的更新迭代非常快,从TB级PB级再到更高数量级的提升。

因为迭代更新比较快,所以要求厂商要有一个稳定的数据库团队持续地跟进演进。

对于TDSQL而言,作为腾讯内部唯一的自研数据库品牌,我们团队也要紧跟技术的演进和变化,除了服务外部客户还要服务内部,因为无论是内部还是外部都是我们的关键的客户,都是我们非常重视的使用场景。

像腾讯这种体量的互联网公司,需要一支比较稳定,并且可以不断紧跟着技术的演进和发展不断迭代的数据库团队。

团队建设

需要我们的数据库有自己的生态,包括用户从集中式转换到分布式的配套工具,周边文档资料,人员的招聘,还有一些过渡保障措施。

TDSQL是兼容MySQL、PostgreSQL生态的,而这些生态是一个非常庞大的数据库圈子,其文档和资料,以及全世界的活跃社区都给我们提供了很多的学习参考的途经,我们一些技术水平比较高的银行合作伙伴往往在出了问题之后,对于一些比较基本的问题,都是自己通过查阅相关资料加以解决。

对于我们的客户而言,选用了一款分布式数据库,它也要考虑自己团队对新型分布式数据库的维护能力。

服务能力

服务能力要求分布式数据库的具有完善的服务机制与生态体系。比如用户出了问题之后,能够第一时间真的需要到现场,能够第一时间去就近服务,包括一个完善的区域的合作伙伴的服务机制。

在服务能力方面,TDSQL也在全国培养了很多的技术支持团队帮助,引导客户解决问题。比如一些重大的节日保障,或者是涉及到一些重大变更,需要我们的合作伙伴立刻到达现场,做业务的割接、切换或者是大规模的灾备演练。比如对一个机房进行断电的容灾演练,我们也有专门的团队去支持,DBA团队也有服务合作伙伴,共同为客户保驾护航。

目前,我们在华东、华南、华北都有专门的服务团队。

作为一款成熟的分布式数据库产品,除了要在技术侧加以打磨,还需要有足够的案例输出,同时在服务体系、整合能力还有持续演进能力方面,都要有与之相匹配的能力。否则,它就没有办法成为一个成熟完善的商业化产品。

TDSQL的发展历程以及架构原理

腾讯的土壤

为什么在腾讯的土壤下能诞生出像TDSQL这样的数据库?

首先,腾讯是一个依托百亿级账户数量的互联网公司,其数据规模、场景相对而言比较有挑战性。

例如,几年前

1
查看完整版本: 腾讯云数据库火速拿下2000家金融客