数据猿 潜水
  • 1发帖数
  • 1主题数
  • 0关注数
  • 0粉丝
开启左侧

SequoiaDB巨杉数据库许建辉:企业数智化转型“人效”和“能效”

[复制链接]
数据猿 发表于 2021-8-18 11:02:25 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题

                               
登录/注册后可看大图

本文由 SequoiaDB巨杉数据库合资人兼研发VP许建辉 撰写并投递到场由数据猿&上海大数据同盟团结推出的“行业盘点季之数智化转型升级”大型主题策划活动之《2021中国企业数智化转型升级先锋人物》榜单/奖项的评选。
互联网的极新格局催生了5G、云计算、大数据等新兴技术,企业的数智化、智能化转型势在必行。
数据已然成为数字经济中关键的生产要素,它如同燃油和电力一样为差别组织注入源源不断的能源。而数据库作为企业级基础软件,是我国数智化转型和国产化历程中的紧张一环。
因此,如何让诸如数据库的“新基建”赋能上层应用,帮助企业数智化转型,是所有底层技术企业都应思考的问题。
后疫情时代的企业数智化转型

新冠疫情的突发,使得数据进入到了一个裂变式增恒久,同时也在推动着各行各业的数智化转型升级。数智化不断促使产业变革,人们看到了“新基建”背后蕴藏的巨大经济活力,大批企业朝着人工智能、大数据方向发展,并努力寻求发展的创新点和增长点。
根据业界权威机构的统计,环球的数据量将从2020年的55ZB,增加到2025年的175ZB,这意味着未来五年数据量将会有2倍以上的增长。可以说,未来市场的竞争其实是数据的竞争,谁处理好了数据,谁就把握了核心制胜点。

                               
登录/注册后可看大图

数据成为企业发展的新动能,而企业的数智化转型则是顺应时代潮流、响应国家政策号召的必由之路。在转型的历程中,企业应该关注难点和痛点问题,并联合自身的资源和能力水平对症下药,从而找到最优的解决方案。通过我的观察,发现企业在数智化转型的过程中有大概会面临以下两方面的瓶颈:
一、数据研发团队的“人效”瓶颈
“罗马不是一天建成的”,企业的数智化系统往往是分阶段、分项目建立起来的。在差别的建设周期的项目中,各个系统的数据布局模子,甚至是数据库引擎都不尽相同。这样的建立方法,不但会引起数据孤岛的问题,还将导致企业在数据管理过程中出现“人效”的问题。
企业往往必要为差别的数据库构建全流程运维机制(包括:软硬件、运维指南、监控系统等),并聘用独立运维及开发人员团队。而差别数据库之间,由于数据层并不通用,因此当两个系统必要举行数据交换时,又必要通过ETL或应用步伐单独开发数据流动的组件,这样将进一步斲丧研发人力和提高后续管理的复杂度。这些问题都导致了企业在数智化转型过程中,无法充分释放“人效”,也无法将有限的技术人力投入到业务增值的方向上。
二、数据调度的“能效”瓶颈
获得数据调度“效能”最有效的途径,就是构建统一的数据基础设施,让差别的数据之间可以无缝对接共享,制止数据在差别数据库产品间的频繁流动。在国家“低碳环保”的发展战略下,统一的数据基础设施一方面可以减少数据流动导致的CPU计算、磁盘IO占用及网络带宽斲丧;另一方面还可以制止数据的太过冗余,低落数据的总体使用空间。
然而这并不简朴,正如我前面所言,在企业的数智化系统的演进过程中,由于差别的数据布局、数据类型的需求,必要引入多种数据库产品。由于这些产品间的数据无法直接共用,因此就只能通过频发的数据调度、数据同步,来实现各个系统间的数据调用,因此浪费了大量的系统“效能”。
夯实数据库根科技,提升企业数智化转型的“人效”和“能效”

如今市场中有众多处理数据的产品,但只有将基础软件作为转型的核心,才气从本质上帮助企业在第一时间洞察海量数据背后的代价,从而有效驱动企业高速发展,占据行业发展先机。
我在数据库领域有着十二年的从业经验,作为国内分布式技术的开拓者,我清楚地认识到,基于引擎级多模技术,通过数据库的“湖仓一体”架构,可以有效帮助企业加强数据复用能力,全方位提升管理及开发效率。具体而言,我以为可以通过以下两个方面的技术,帮助企业突破在数智化转型过程中面临的“人效”和“能效”瓶颈。
一、通太过布式多模技术提升企业运作“人效”
首先,借助“湖仓一体”技术架构下的引擎级多模技术能力(Multi-Model),数据库可以基于统一的数据源,面向差别的开发团队提供包括:布局化、半布局化及非布局化的数据模子,甚至提供兼容多引擎的SQL接口。这使得差别的研发团队可以基于同一份数据举行业务处理,应业务的需求自由选择适合业务的SQL语言,提升开发及管理效率。
同时,通过序列时钟协议或其他分布式时钟技术,可以有效控制分布式架构下时钟调用延迟,以提供高性能的事务能力,甚至是与传统会合式数据库相同的RR事务隔离级别。开发者可以放心地将事务一致性逻辑交由分布式数据库层举行处理,让开发人员回归到纯粹的业务设计中,提升企业研发“人效”。
二、通过融合联机处理能力提升企业运作“能效”
在数据融合处理能力方面,“湖仓一体”可以将各类原始数据统一存储,通过权限及租户隔离实现数据的共享及安全保护。因此数据可以自然打通,制止由于差别引擎间的频发传输导致性能损耗,也制止了数据在各引擎间的数据冗余导致空间浪费。
例如,企业在数智化转型过程中,非布局化数据(如同:音视频、声纹指纹、人脸识别等)已经进入到在线业务系统中,成为了海量数据的新入口。这些数据不但容量上远超布局化数据,而且通过持续迭代的AI和机器学习处理,会不断产生海量的布局化或半布局化标签数据,对底层数据处理平台提出了更高的实时联机处理能力要求。通过“湖仓一体”实现交易分析一体化、流批一体化、多模数据一体化,就可以为里面存储的每一个对象赋予标签、描述和内容举行统一有效的管理、分类、检索和查询,实现非布局化数据管理,从而提升企业内数据的团体“能效”。

                               
登录/注册后可看大图

如今,巨杉数据库的“湖仓一体”架构已在超过100家金融银行业客户规模化生产上线应用。在金融银行业生产环境中,运行时间最长的巨杉数据库集群已经超过7年,最大单客户集群规模达300台物理服务器,所管理的单集群最大数据量超过1万2000亿条。未来企业数据将持续爆发增长,巨杉将面向核心应用场景的高代价数据,为千行百业提供数智化转型的基础服务。
当今社会,数据已然成为链接万物的关键。无论是传统行业还是新兴产业,都在积极地举行数智化、智能化改造升级。而数据库作为企业级基础软件,能够从技术层面出发,帮助企业实现内部的数智化转型升级,从而做到真正意义上的降本提效。
数据量的激增,将促使更多的企业往数智化方向举行转型,而数智化又将持续为环球数据带来爆炸性的增量发展,并为数据库行业带来全新的市场机遇。数据与数智化之间实际上是双向的推动力,它们之间彼此作用,共同促进数字经济到达新的增长点。
巨杉数据库SequoiaDB将持续夯实底层根科技,基于湖仓一体架构构建新一代国产数据库,低落数据流动带来的开发本钱及计算存储开销,成为提升企业数智化转型期“人效”和“能效”的数据基础设施。
作者个人简介
许建辉,SequoiaDB巨杉数据库合资人兼研发VP,拥有超过12年数据库、分布式架构研发经验。前华为分布式数据库和分布式存储团队成员,是国内最早一批研究分布式技术的开拓者。2012年加入SequoiaDB,作为总架构师,负责数据库的架构设计、数据库技术创新和研发管理工作,帮助巨杉数据库服务于金融、能源、运营商、政府等多个行业,为众多客户提供坚固的数据基础设施。
原文标题:SequoiaDB巨杉数据库许建辉:夯实数据库根科技,提升企业数智化转型的“人效”和“能效”
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

猜你喜欢
在线客服邮箱
wxcy#wkgb.net

邮箱地址#换为@

Powered by 创意电子 ©2018-现在 专注资源实战分享源码下载站联盟商城