目录

乘云创数,华为云企业快成长大数据技术创新论坛深圳站圆满落幕

目录

乘云创数,华为云企业快成长大数据技术创新论坛(深圳站)圆满落幕!

4月22日,由华为云联合CSDN举办的“企业快成长大数据技术创新论坛”顺利在深圳召开,来自华为云、全知科技等企业专家和知名意见领袖齐聚一堂,分享湖仓一体、数据安全等前沿技术话题,并与现场开发者展开热烈讨论。

现场火爆,座无虚席。

https://i-blog.csdnimg.cn/blog_migrate/6066fe9ee47331bf4e87d605b8ecdcf0.png

在开场致辞中,华为云深圳伙伴发展部部长朱琰表示,数据作为重要资产和新型生产要素,对社会经济的发展起着关键作用。一直以来,华为将“以客户为中心”作为企业的核心价值观,因此在洞察数据对社会生产生活的重要作用,企业提出新的数字化需求后,华为云打造出系列前沿大数据解决方案。同时,华为云积极建设开放生态,携手生态合作伙伴赋能千行百业,期待各行各业基于华为云的技术来创造出更多价值。

https://i-blog.csdnimg.cn/blog_migrate/fdcc66c3c56c0e09c0cf1ccfb4a5c728.png

华为云深圳伙伴发展部部长朱琰

一、 快速释放数据价值,华为云湖仓一体来解

我们正处于数据爆炸时代,全球数据量规模极速增大,多源数据成为常态,企业的海量数据亟需分析和挖掘,如何挖掘更深层的数据价值,是摆在开发者和企业面前的难题。

据华为云GaussDB(DWS)架构师黄海燕分析,在企业建设数据平台的过程中,面临以下挑战:一是平衡数据量、存储空间和计算效率等需要高维技术,二是仓-湖-AI数据形成孤岛,需通过数据隔离或数据迁移,均无法满足全量、敏捷等需求;三是技术选型上,开源产品丰富,但开发运维很难;四是数据准备工作复杂低效。

https://i-blog.csdnimg.cn/blog_migrate/17bdabd12105200040853b555b778a4a.png

华为云GaussDB(DWS)架构师黄海燕

业界早已意识到以上难题,但如何解决思路有所不同。华为云采用产品组合的方式,打造出华为云数智融合平台,支撑企业数智化转型,涵盖 DataArts Studio 数据治理中心、MRS 云原生数据湖、DWS 云数据仓库、ModelArts AI平台、LakeFormation 智能湖仓。

其中,黄海燕详细分享 GaussDB(DWS) 的技术创新。 GaussDB(DWS) 分成标准数仓、实时数仓和IoT数仓,具备全栈全场景的能力,从商用规模、安全认证、性能比拼、行业影响力上,在国内首屈一指。支持从TD到Oracle、Hana、DB2 DPF等分析类数据库的全面升级。

在最新推出的云数仓3.0架构,支持存算分离、分钟级弹性伸缩、存储成本降低50%。实时数仓能力强,IoT数据实时入库,实时IoT数据与历史IoT数据关联分析,还提供GES图数据库。在计算上,支持虚拟机、BMS和物理机的部署;存储上,支持本地存储、EVS、OBS。GaussDB(DWS)云原生架构,实现“存算管”三层分离。同时保持极致弹性,支持湖仓一体,可跟 LakeFormation 元数据对接。数智融合,与AI生产线的无缝对接。优异性能,一体化性能优化,匹配传统数仓的性能体验。

目前,全球1700+大客户选择华为云 GaussDB(DWS),涵盖政府、金融、运营商、交通、能源等行业。

二、建设数据底座,赋能数据应用

传统的IT建设模式是根据业务需求而来,不同业务部分搭建不同的系统,如电商、财务、ERP系统等,这种烟囱模式存在一些弊端,这种建设模式,造成资源重复建设、底层数据资源无法共享、造成数据孤岛,无法统一管控等问题。

https://i-blog.csdnimg.cn/blog_migrate/623a2c4f6e76cf75e5218301212569cf.png

前碧桂园集团数据管理专家卢毅辉

前碧桂园集团数据管理专家卢毅辉表示,搭建数据底座,通过统一的数据存储、统一模型、提供统一服务、统一目录来进行全生命周期的数据治理,确保提供的数据是标准、准确和高效的。借助数据底座,消除供给端数据孤岛、数据质量不高、数据不安全的问题。

数据底座的建设思路可总结为数据盘点、数据入湖、数据建模、数据治理、数据服务。数据盘点即将数据作为重要资产来盘点清楚,理清企业里的系统、数据、负责部门和负责人等关键信息;盘点清楚后,将所有数据统一集中到数据湖里。基于入湖的数据,来构建数据模型;在整个过程中,做好数据治理,最后一步是构建数据服务。

三、 安心用数,华为云 DataArts Studio

是最优解

当前,许多企业正进行数字化转型,探究数字化转型的根本是构建数据驱动的体验创新、管理创新和模式创新。然而在落地的过程中,存在资源分散、数据不通、应用孤立等挑战,造成数据的孤岛和烟囱系统是阻碍企业进行数字化转型的核心问题。

https://i-blog.csdnimg.cn/blog_migrate/95c79337628b85fe737d656602cbf847.png

华为云大数据技术专家王略

华为云大数据技术专家王略表示,早在十多年前,华为内部已经开始做一些实践。通过数据治理得到清洁数据,“清洁数据”指统一口径、统一标准、统一模型,来成让数据运营效率得到大幅度提升,来实现“找得到、管的住、用得好”目标。

基于此目标,华为云打造出 DataArts Studio 一站式数据治理平台,通过人工智能技术来驱动数据治理越来越智能化、高效、便捷,最终实现高效和安全地挖掘数据价值。在统一的平台上,完成对数据的清洗、转换、存储,集成数据,数据开发,数据治理等工作,构建“找得到”的数据平台,“管得住”的数据质量和数据规范平台,“用得好”的数据服务和数据安全平台。

DataArts Studio 拥有全域全场景统一数据集成,一站式任务配置,全链路任务监控的优势。在全场景数据集成上,可一键集成全量数据、增量数据、实时数据。在数据开发上,通过一站式开发+上线+运维,统一开发环境来提升数据开发效率,还有低代码开发平台能大幅度提升开发人员的开发效率。

那么如何让数据变成资产,如何实现“找得到、管得住、用得好”?通过通过两层数据目录构建企业的数据资产体系,打造全局数据地图来解决用数的最后一公里问题,解决“找得到”问题;通过对数据资产生命周期管理,来解决“管得住”问题;通过打造完整的安全体系,让数据更加安全流通、应用。

同时他高屋建瓴地表示,未来持续提升数据治理效率,离不开AI4Data 技术,未来的演进方向是在AI层让质量管理、资产管理、安全管理越来越高效和智能。

值得一提的是,华为云对数据治理,不仅是提供 DataArts Studio 平台,还提供咨询、产品、实施三位一体的解决方案,帮助企业保障治理方案落地。

四、看见数据,观测流动

全知科技高级产品专家卓勇从“看见”数据,“观测”流动说起,探讨如何为企业数据安全流通保驾护航。

https://i-blog.csdnimg.cn/blog_migrate/c9de2a859375de1d35664c0259029715.png

全知科技高级产品专家卓勇

数据安全建设的思路遵循PDCA方法论,分为制度先行、组织建设、资产梳理、现状评估、风险监测、主动防御、统一运营等步骤。

在行业实践上,卓勇从“看见”数据,“观测”流动来分享对数据的资产梳理和风险监测。要想“看见”数据,需先对数据进行分类分级。这个过程涵盖建立分类分级标签目录,数据特征模型构建,数据资产底账接入等技术实践。

在“观测”流动中,达到对现状的梳理,使用数据的账号可管,数据漏洞可堵,数据台账可查,数据流动可见,数据场景可审,数据流调可溯,数据泄露可查。

五、精彩观点碰撞

在圆桌环节里,四位讲师黄海燕、卢毅辉、王略、卓勇《数智引领,技术助力企业决胜数字时代》话题,在科技访谈栏目《明说三人行》创始人卢东明的主持下,共同探讨在数智时代,如何让数据驱动智能决策,为企业提供高质量发展新思路,帮助企业和开发者决胜数字时代。以下为精彩嘉宾的观点:

https://i-blog.csdnimg.cn/blog_migrate/63510606c14d47312ec069b1450c6020.png

王略观察到湖、仓的技术融合趋势,他表示数据湖正在吸收数仓的前沿理论和技术,将传统数据库里一些成熟、做得好的东西纳入到数据湖里统一管理。数仓也一样,如今华为云 GaussDB 可以实现数据存算分离、数据冷热,消除数据管理的瓶颈。在技术不断融合,我们希望无论是数据湖还是数仓,能在多套引擎上看到同一份数据,管理同一份数据,在一份数据上选择合适的场景来使用。

谈到如果企业当前架构是数仓的话,如何平滑过渡到湖仓一体? 卢毅辉表示,从数仓过渡到湖仓,可先分存量和增量数据。针对增量数据,如确定要过渡的,增量数据开始往湖仓体系接入。针对存量,如果涉及到的数据量较大,时效性要求较高,可以优先将它迁移到湖仓体系来,后续再慢慢将业务平滑到湖仓一体里,等两套系统并行使用一段时间后,才彻底将数仓去除。

谈到湖仓一体的下一步发展趋势,黄海燕表示,“仓湖智”(数仓、数据湖和AI)的一体融合,即数智融合,朝着 AI 技术使能数据,数据与 AI 结合的方向演进。

展望未来,卓勇表示,AI将会为数据安全领域带来变革,例如可以将过往大量的分析结果交给类chatGPT的大型语言模型,通过不断喂养,那么它将具备与传统风险分析不同的能力。在隐私计算上,AI也能提供一些助力。

卢东明也表示,今天从数据库到数仓,从数仓到数据湖,再到湖仓一体,大家都谈到 AI,希望未来可以为新的技术起名带有“主动智能”一词。人工智能如何主动管理、主动发现预测安全隐私、主动归纳整理数据,我希望未来能看到一个这样的智能数据管理平台。

最后,现场观众积极向台上讲师提问,进行不同的观点碰撞。

https://i-blog.csdnimg.cn/blog_migrate/23f75bec6fe000e57286f3eef727ed52.png

https://i-blog.csdnimg.cn/blog_migrate/d28e2ff4e57043f3d49ed15a25e65fea.png

此次华为云企业快成长大数据技术创新论坛(深圳站)的成功举办,给开发者们提供了一个与技术专家面对面交流学习的机会,深入了解大数据的技术与实践,对大数据发展有了更清晰的认识。未来,华为云企业快成长技术创新论坛将继续走进更多城市,带来更多前沿技术分享,与更多开发者共话技术创新驱动企业高质量发展。

https://i-blog.csdnimg.cn/blog_migrate/f338e58b00daadb21c76464977cb2a77.png