01.
七个维度
还原数据库的发展历史
回顾数据库70年的发展历程，分布式、云计算、人工智能等创新技术和基础设施的发展为演进注入了新的活力。下面，我们将从数据模型逻辑、技术架构、所需功能、部署方式、存储介质、业务模型、数据库治理模型等七个维度对数据库的发展进行阐述，阐明数据库的演进逻辑和发展趋势。行业。
▲数据库发展历程
数据模型的演化本质是由底层数据规模、逻辑关系、类型等驱动的，其路径为：层次结构->网格->关系->关系、非关系并行。在当前关系和非关系并行的时代，新的和多模式的数据库正在迅速发展。传统SQL受限于其扩展性，在大数据发展下逐渐面临瓶颈，但它提供了和NoSQL一样的扩展性，并且仍然基于关系模型，保留了极其成熟的SQL作为查询语言，从而保证了数据安全. 一致性强；同时，基于分布式架构，对接多种数据模型引擎，避免了构建多种类型数据库的多模式数据库的快速发展。
▲数据库模型发展历程
数据库早期的演进史本质上是关系型数据库的演进，关系型数据库在市场上占据了50多年的主导地位。关系数据库以二维表的形式存储实体和关系，易于理解、使用和维护。自1970年诞生以来，逐渐成为行业霸主。今天，关系型数据库不断融入分布式、云原生、AI等新兴技术并不断演进，依然是数据库的主流。根据DB-hot排行榜（截至2022/02），排名前四的数据库，MySQL，均为 ，分数遥遥领先。
SQL 是关系数据库的标准语言。与C、Java等编程语言相比，SQL的通俗化设计大大简化了它的代码复杂度，让数据分析师更容易上手。同时，嵌入式的设计也保证了SQL可以很容易地被其他编程语言调用。根据 TIOBE 统计，SQL 在过去 20 年中一直位列编程语言前 10 名。关系数据库的二维表数据存储模式为关系数据库的普及提供了环境基础；而SQL语言的流行也助长了关系型数据库的推广。两者在数据库市场上相得益彰，共赢。
▲DB-十大热门数据库
随着互联网业务规模的快速增长，具有灵活扩展和高并发读写能力的NoSQL数据库得到快速发展。因为传统关系型数据库在保证数据强一致性和系统可用性的前提下，其横向扩展能力有限；非关系型数据库NoSQL基于分布式存储原理，摒弃了传统的关系模型。在它们之间找到一个平衡点，从而保证系统的灵活扩展和高并发读写能力。随着社交媒体等互联网服务的快速发展和数据量的激增，传统关系型数据库的性能逐渐达到了瓶颈。所以，
为了应对数据的海量增长和追求更低的扩容成本，数据库正从单机、集中式架构向分布式架构快速发展。随着信息化水平的快速提升，对数据库的存储、并发读写、扩展等提出了更高的要求。集中式架构的“Scale Up”垂直扩展机制面临硬件性能瓶颈。因此，“Scale Out”水平扩展的分布式架构，通过网络将物理上分散的数据库单元连接成逻辑上统一的整体，成为一种新趋势。从集中式到分布式的演进，降低了对硬件性能的要求，大大降低了企业数据库扩容的成本。
分布式体系结构从共享磁盘和共享内存体系结构逐渐发展到纯无共享体系结构。在无共享架构中，每个处理器都有自己的内存和磁盘空间。利用网络通信，“Scale Out”横向增加处理器及相应的内存和磁盘，从而避免事务对内存访问和网络带宽的竞争，提高处理性能。国内生产方面，-分布式架构已经成熟，如TiDB、华为、Ant、大梦的+、阿里云、腾讯云TDSQL、NTU的Gbase、仁达金仓的、中兴的DB等分布式数据库都是MPP 建筑学。
▲各种结构对比
所需的功能决定了数据库的逻辑架构，逻辑架构决定了访问性能。为了实现海量数据存储、在线高并发、同时支持OLTP和OLAP功能，HTAP应运而生，根据具体架构可以分为三类：
▲HTAP的不同架构
根据墨天伦的排名（截至2022/02），国内数据库排名前六的都是HTAP+分布式架构，包括TiDB、华为、蚂蚁、大梦的大梦+、华为、阿里。其中，No.1 TiDB数据库就是基于模型和Raft算法开发的。借助底层数据同步和行列透明转换技术，将面向在线事务的行存储引擎和面向实时分析的列存储引擎融合，转化为行列混合的数据架构。在 HTAP 技术的浪潮中，TiDB 数据库以其水平线性扩展、强一致性分布式事务、故障自恢复的金融级高可用、真正跨数据中心多活等核心特性一马当先。
从部署方式的演进来看，数据库上云成为重要的发展趋势。随着云基础设施的成熟，??企业对减轻DBA运维难度的需求越来越迫切，传统数据库直接部署在云端，由云厂商安装维护的云托管数据库逐渐受到企业追捧。行业。预计2023年云DBMS收入将占DBMS市场总收入的50%，75%的数据库将部署在云端。在数据库上云过程中，数据迁移是最大的痛点。针对企业面临的完整性、安全性、一致性问题，
据IDC统计，2021年中国关系数据库本地部署模式由中国、华为、IBM垄断，而同期公有云部署市场则由阿里巴巴、腾讯、AWS和华为主导。2020年，阿里云将陆续推出-X、ADB等云原生分布式数据库，成为国内首家进入全球数据库魔力象限领导者象限的厂商。腾讯云自研TDSQL-C，积极拥抱开源，100%兼容MySQL和MySQL。实现超百万QPS高吞吐量，助力中小企业，连续两年增速位居全球前三。华为云深耕金融行业，
在商业模式上，逐渐成为数据库行业的共识。2021年1月，据DB-报道，全球数据库开源许可的热度首次超过商业许可，开源数据库逐渐成为行业主流。截至2021年6月，开源和商业授权数量分别为198个和185个，热度占比分别为51.4%和48.6%。开源有助于扩大人才规模和上下游生态影响力。通过开源社区的运作，可以快速获取反馈，加快产品研发，提升产品质量，同时达到回馈社区开发者与独立软件双赢的目的。
2014年以来，巨杉、TiDB、百度Doris、淘思数据、欧拉、华为、阿里、蚂蚁等相继宣布开源，国内开源大军不断壮大。
存储介质分类演进：内存数据库提高读写性能。早期的数据库将大部分数据存储在磁盘上，使用内存缓存磁盘内容作为临时存储，统称为磁盘数据库；随着电子商务、直播、新闻查询等对读写性能要求较高的场景的出现，行业对响应速度的要求逐渐提高，将所有数据存储在内存中的内存数据库，以及数据更新过程不受磁盘I/O的限制，逐渐成为主流。据统计，未来五年全球内存数据市场的CAGR为19%。
自1982年80286芯片推出以来，存储器市场经历了40年的发展。容量按照摩尔定律翻了一番，价格下降了百万倍以上。内存中的大规模数据存储已成为可能。在国际市场，支持Redis和SAP的HANA领先的键值对和关系内存数据库；在国内市场，快立方和已经应用于运营商、金融、交通等行业。
治理模型分类演化：AI助力数据库自治。例如，自主驱动自动配置和优化特定负载，按需扩展，提供高可用的数据库；自主修复，自动检测和预防系统故障和用户错误，发生故障时自动切换到备库，保证数据零丢失；自治安全 自动保护敏感和受监管的数据，及时修补数据库安全漏洞，有效防止未经授权的访问。
数据安全是数据库建设的重要前提。自动检测、系统故障预防、运维保护、安全漏洞修复对数据库至关重要；调整压力增加。因此，摆脱对DBA经验和决策的依赖，基于人工智能自动执行安全、备份、补丁等需要大量人工重复工作的自治数据库世界三大农业数据库，是历史上的必然选择，从根本上消除人为错误，减轻DBA的工作压力。目前，自治数据库还处于事后判断阶段。展望未来，提前预测数据规模增长趋势和数据库负载状况，
02.
三个增量要求
国产数据库突飞猛进
据信息通信研究院数据，2020年中国数据库市场规模为35亿美元（约合人民币240.9亿元），占全球的5.2%。预计到2025年，全球数据库市场规模将达到798亿美元。中国的IT总支出将占全球的12.3%。预计2025年中国数据库市场占全球的比例将接近中国IT总支出占全球的比例，市场总规模将达到688亿元，复合年增长率为23.4%。
金融、电信、政务、制造、互联网五个行业是数据库行业的主要下游需求领域，大数据应用的快速发展为数据库提供了增长动力。据信通院统计，其总市场占有率高达80%以上，2020年整体采购金额将超过192亿元。此外，赛迪顾问2020年国内大数据市场结构数据显示，互联网、政府、金融、电信、行业位列前五，占比分别为48%、14%、12%、9%。 , 和 5%。合计约88%，大数据应用与数据库需求结构基本一致。
▲国内数据库规模有望快速增长
去年，各领域“十四五”规划陆续出台。数据库的建设和应用在信息技术、金融、交通物流、农业等诸多领域被多次提及。其中，数据库标准化的重要性首次被提升到前所未有的高度。随着数据库顶层设计的不断加码，“十四五”期间，国产数据库的研发将进入快车道，国产数据库的竞争力将显着增强，行业有望进入加速发展期。
▲“十四五”规划中提到加强国产数据库建设
未来数据库市场的增量需求主要来自以下三个方面：
1、国产化进程逐步加快；
2、传统的集中式数据库升级为分布式架构；
3、非关系型数据库应用场景不断丰富，发展迅速。
以华为、SAP、IBM为代表的海外厂商，一直以其产品更好的性能、稳定性、安全性，以及对海外ERP、CRM等更好的兼容性，一直被用在企业核心的OLTP业务场景中。近年来，随着国内数据库产品功能和性能的不断提升，其产品水平已逐渐接近国外厂商。据IDC数据显示，在传统关系型数据库领域，中国、SAP、IBM的合计份额从2019年的66.8%下降至48.5%，首次跌至不足一半，可见国产数据库技术处于领先地位。日趋成熟，海外厂商主导的核心OLTP应用场景逐渐可操作，
据信通院统计，目前我国金融行业中，海外和IBM DB2约占74%，国内基于MySQL及二次开发的数据库约占19%。本土化仍有空间。其中，通过梳理金融行业本地化数据库建设案例，我们发现国产数据库已经逐步实现了从边缘系统到核心系统的国产化，表明国产数据库产品的功能和性能水平不断提升。增强。预计随着行业创新的逐步实施，国产数据库的需求将进一步加速。
▲ 传统部署关系型数据库的海外厂商份额持续下降
随着数据类型和规模的指数级增长，传统的终端计算场景已经难以应对数据存储和处理的工作量和复杂度。云计算通过存储与计算分离、资源灵活动态分配、边缘节点计算等方式，打破了传统计算场景的瓶颈，实现了当下的数据处理需求。云计算场景的需求推动了分布式数据库的应用发展：通过资源池管理实现物理层或逻辑层的相互隔离和资源的自由伸缩，
1）具有弹性扩展、HTAP事务能力、多租户管理能力、高可用性，匹配云计算场景需求。
2）兼容多种访问接口和数据类型，可以优化存储在不同物理服务器、不同格式的数据的结构和算法，突破服务器类型的限制，为不同类型的上层应用提供多模式的数据服务。
当前，互联网、金融、电信等行业的分布式升级正在快速推进。以金融、电信行业为例，其核心业务数据类型均为关系型数据库，此类中心化数据库所面临的业务量将呈现爆发式增长。增加。由于单一硬件容量增长有限，不可能依靠垂直硬件升级来扩大存量数据库容量的上限。分布式数据库采用多种模式实现数据的分散存储，将压力分散到不同的服务器上，不断增加存储或计算节点，实现弹性升级，克服了集中式数据库的诸多缺点。分布式数据库在行业中已经存在 在股份制银行、城市商业银行、二三线城市运营商等，已经实施了核心业务系统的改造。同时，去年12月，腾讯分布式数据库TDSQL在东吴证券核心交易系统落地，也标志着分布式数据库进入券商核心。系统领域取得突破。这也标志着分布式数据库成为证券公司的核心。系统领域取得突破。这也标志着分布式数据库成为证券公司的核心。系统领域取得突破。
摩天轮国内数据热度排行榜（截至2022/02），前十名的流行数据库均为分布式架构，应用场景覆盖各行业，可见国内分布式数据库已经成熟，正在成为各行业建库的关键. 重要的选择。
▲ 摩天轮十大热门数据库均为分布式数据库
随着工业互联网、互联网创新服务、车联网等应用的快速发展，非关系型数据库应用将加速落地。我国的非关系型数据库发展迅速，正逐步走在世界前列。我国的非关系型数据库主要是基于开源数据库如Redis、.net等产品进行二次开发。根据2月份的DB-2022排名，国内的浙江智宇和阿里云TSDB在时间序列数据库中分别排名第11和21位。图数据库方面，欧若树Graph、百度智能云开源产品世界三大农业数据库，华为云排名第15、26位，和第32位，表明国产NoSQL数据库正逐渐逼近世界前列。
▲NoSQL数据库逐渐在制造业、政府、金融等领域落地
▲国内主流数据库厂商
▲ 互联网厂商
▲部分初创厂商
智世认为，在这次俄乌冲突中，美欧试图将IT基础设施“武器化”，快速打击俄罗斯的生产生活秩序，充分说明了IT基础设施基于所谓全球化的竞争。大国是靠不住的，大国的IT架构必须坚持自主发展的道路。因此，不仅是芯片和数据库，我们必须牢牢掌握技术领域各个环节的核心技术。
