华为云智能数据湖解决方案助力政企智能化升级

由大数据产业生态联盟联合《软件和集成电路》杂志社、赛迪顾问股份有限公司、工信部赛迪智库共同编制的《2020中国大数据产业生态地图暨中国大数据产业发展白皮书》（以下简称《白皮书》）显示，数据关键要素作用初步显现，数据共享开放初见成效，数据治理成为关注重点；2020年，我国大数据产业规模将达到6670．2亿元，增长率为23．6％。

随着技术的演进，数据发生了巨大变化，不仅数据规模越来越大、数据种类呈现多样性，而且人们对于数据处理的时效性，以及数据融合分析的要求也越来越高。华为云人工智能领域总裁贾永利表示，为了帮助企业从容应对数据智能时代的各种挑战，华为云推出了智能数据湖FusionInsight，围绕客户在使用数据、管理数据全生命周期方面提供整体解决方案，让企业用户更方便、快捷地用好数据的同时，加速数字化转型进程，释放数据红利。

一切为了数据

在8月31日下午举办的华为云TechWave大数据专题日上，华为云大数据又有新动作，GaussDB（DWS）实时数仓登场亮相。

华为云人工智能总裁贾永利发布GaussDB（DWS）实时数仓

随着5G、人工智能、边缘计算的兴起，数据量越来越大，处理好数据、用好数据成为企业数字化转型的一个首要目标。贾永利指出，从广大政企客户的需求来看，不断增加的多样性数据的统一处理，让数据在处理过程中可管可控，并且可以更高效地协同不同组织变得越来越重要，而实时性处理、数据融合分析则是重中之重。

通过一站式的分析平台，全局使用一份数据，更全面、更精准地分析数据，从海量数据中找到客户真正想要的价值，是大数据厂商肩负的使命。华为云提出的智能数据湖解决方案正是以数据的使用和价值为核心，旨在实现数据全生命周期的高效管理。“基于开放架构的华为云智能数据湖解决方案，真正做到了基于云原生的存算分离，让数据规模可管理、数据更好用。”贾永利如是说。

举例来说，为了提升海量数据的实时处理能力，GaussDB（DWS）实时数仓增强了线性扩展能力，单节点每秒可以处理60万条以上的数据；采用具有最广泛开发者生态的数据分析语言，不管是流处理，还是实时分析，处理性能都会有数倍提升；GaussDB（DWS）的使用更简单，减轻了程序员在开发、使用和运维等方面的工作量；GaussDB（DWS）还可以极大地节省客户数据全生命周期管理的综合成本。

GaussDB（DWS）实时数仓只是“冰山一角”，华为云大数据还有很多“黑科技”等待揭秘。

华为云智能数据湖的秘密

在8月26日揭晓的“2020中国大数据企业50强”榜单中，华为云大数据连续四年上榜。这是业界对华为云FusionInsight的技术创新能力和实践应用成果的充分肯定。作为“最懂行”的大数据解决方案，华为云FusionInsight也再次引发广泛关注。

趁热打铁，在华为云TechWave大数据专题日上，华为的“博士天团”重点揭秘了华为云FusionInsight的几大核心能力——提供大集群、湖仓一体、实时数据湖等关键技术的MRS大数据，全局一份数据、秒级用数、T＋0入湖的CarbonData数据存储引擎，GaussDB（DWS）新一代全场景云数据仓库和一站式云化数据运营平台DAYU。

随着5G、IoT新技术发展，数据规模、数据来源、业务场景将快速变化，这些变化给数据存储、计算、分析和安全等带来全新的挑战和需求，大规模、多样化的数据，需要实时、融合分析。华为云FusionInsight MRS大数据就是在不断理解客户场景需求，感受客户使用痛点，积累丰富经验，打造领先的大数据解决方案。

企业级大数据平台FusionInsight MRS，为企业数据湖底座，坚持开放生态，长达十年以上的大数据经验积累，是全球60多个国家与地区3000多个政企客户的共同选择。

FusionInsight MRS支持超2万节点超大规模单集群管理能力，业界最佳，提供企业级多租户能力，让一个企业一个湖成为现实；支持企业级能力让大数据运维无忧，拥有成熟的在线升级能力，升级过程业务零中断，业务永远在线，并已在金融、政府等客户在线升级实践，得到行业高度认可；支持数据湖事务ACID，实现企业数据实时增量入湖，让大数据分析从T＋1到T＋0，让业务创新更敏捷；支持高性能交互式查询引擎秒级供数，实现湖仓一体，数据不出湖，直接对接BI类业务，自助分析，数据供应链路短，效率提升2倍以上；支持跨源跨域的数据分析，打破地域数据墙，使得企业跨域分析效率从周提升到分钟级。

CarbonData是一个高性能EB级别分析型数据仓库，提供面向对象存储上EB级数据的高性能明细查询能力、交互式查询能力，提供流数据接入、数据实时同步和更新能力，提供对主要ETL业务的支持和加速，以及机器学习、深度学习等AI引擎，生态发展越来越完善。

CarbonData自2015年进入Apache孵化器；2016年CarbonData正式从Apache孵化器毕业，正式成为首个中国公司贡献的Apache顶级项目；2020年重磅发布2．0里程碑版本，重新定义智能数据湖索引和事务能力。

CarbonData数据存储引擎，面对复杂业务场景实现全局一份数据导出使用，免去数据搬迁的困扰；面对海量数据的查询使用，针对性优化了查询加速，可实现PB级数据30秒内响应；在时间就是金钱的信息时代，时效性的突出优势被企业所看好，CarbonData支持数据更新，可实现数据T＋0实时入湖，大大优化了传统T＋1、T＋2的可见时延。

数据仓库是企业的“中枢系统”，也是业务创新的基础，但长久以来一直受到“扩展性、实时性、可用性、易用性”等问题的困扰。华为云GaussDB（DWS）十年磨一剑，在核心技术上实现了突破，为新一代企业级数据仓库系统树立了标杆。

截至目前，全球超过500家大客户已使用GaussDB（DWS）构建自己的核心数据仓库系统。而GaussDB（DWS）之所以能如此快速赢得大企业客户的信任，主要得益于其“大、快、稳”的特点。

GaussDB（DWS）的“大”集中体现在，设计规模为2048节点，可支持PB级数据容量，随着节点数增加，集群的性能和容量呈线性增长，线性比＞0．9；GaussDB（DWS）导入和分析“快”如闪电，因为它采用了全并行计算架构，并支持新一代智能优化器技术、高效的算子算法、动态编译等核心技术；因为采用多层备份、多级保护技术，GaussDB（DWS）“稳”如泰山，即使出现软硬件故障，也能快速检测和响应，并自动切换，确保业务持续可用。

华为云大数据产品总监杨兴华表示，管好数、用好数是一个非常不容易的过程，需要跨越数据孤岛、数据有序管理、系统安全管理等几道鸿沟。为此，华为云打造了融合、开放的一站式云化数据运营平台DAYU，协同伙伴，实现“从比特到信息”的价值发现，释放数据之美。

在2019年发布的1．0版本基础之上，DAYU又在架构上进行了优化，同时增强了新的特性：采用全域联邦数据资产管理，与超过30＋的数据源对接，通过河图引擎的虚拟入湖技术，实现跨源跨域的数据发现与连接，打破数据孤岛的同时，形成数据融合协同，“立而不破”；采用开放架构体系，围绕数据使用构建端到端工具平台，基于“黑土地”的定位，提供分层API接口供伙伴调用；建立共享型行业资产模型，采用模型驱动的理念，实现资产的一键注入、导出、自动化管理，数据资产化效率实现3倍提升。

杨兴华强调说，统一元数据管理和安全管理是DAYU新增的最重要的特性；元数据管理是整个数据运营平台的基础，DAYU围绕数据目录、资产地图、数据血缘，打造了进阶式的数据资产管理体系，提供全域数据统一视图，让用户深度“认知”数据资产；DAYU围绕数据从权限管控、合规审计、敏感发现、隐私保护、风险管理五个方面构建了完善的安全管理能力，实现了全流程统一数据安全管理，让用户放心“用数”。

杨兴华介绍说，DAYU推出一年多以来，其端到端全流程数据可视管理和一键式资产沉淀能力得到了实践验证，并在能源、政务、教育、园区、机场、工业制造等行业广泛应用，使能行业数据价值释放。

助力政企智能化升级

《白皮书》显示，5G、AI技术的应用，以及“新基建”项目的落地，是电信行业大数据爆发式增长的关键。电信运营商主要面临传统平台架构改造难度大、数据管理能力有待提升、共性技术研发有待突破等挑战。

中国移动通信集团广东有限公司（以下简称广东移动）信息系统部总经理谭丽丽表示，为了更好地释放运营商大数据的强大生产力，广东移动基于华为云FusionInsight构建智慧中台，并联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等一系列智慧应用标杆。

广东移动智慧中台

早在2015年10月，广东移动便启动了大数据平台建设工作，2016年建立子公司统一的大数据生态，并依托大数据平台实现内部业务效率提升和外部用户服务。如今，广东移动大数据集群规模超过2500个节点，存储容量达到80PB，覆盖移动用户数超1．3亿，是全国运营商领域覆盖用户数量最多、规模最大、技术领先的大数据平台。作为广东移动大数据技术平台的数字底座，华为云FusionInsight提供了Hadoop大数据处理、跨源数据处理、实时计算等服务，并通过Redis内存优化和Flink内存管理优化等技术提升大数据处理效率。

“广东移动智慧中台从建立之初就选择与华为云FusionInsight合作，实现了非常多的技术创新与突破，包括自主搭建运营商数据中台，实现无感知滚动升级，自主研发超级资源调度引擎Superior和跨集群协同技术等。”谭丽丽表示，“未来，广东移动将与华为持续在大数据领域进行创新与探索，为各行业提供领先的大数据服务能力、完备的管控能力和创新的变现能力。”

在金融领域，华为云大数据的创新能力与支撑能力同样得到了充分彰显。通过大数据等新技术的应用，工商银行经历了从自动化到数据化、智能化、生态化的四个发展阶段，实现了由传统数据辅助决策向数据驱动决策模式的快速演进，大幅提升了工商银行金融服务实体经济的能力。

工商银行软件开发中心总经理助理刘承岩举例说，在智能化阶段，工商银行与华为开展联创工作，引入华为云Fusionsight和GaussDB（DWS）大数据、数仓产品，搭建自主可控的大数据云平台，有力地支撑了工商银行企业级数据湖、数据仓库、集团信息库的建设；在生态化阶段，工商银行继续深化与华为的合作，实现了大数据云平台与华为云Stack云基础设施的融合，提升了大数据云平台的高可用和弹性灵活扩展能力，全面支撑数据中台的生态化建设，助力工商银行数字化转型。

工商银行提出了“数字工行”的建设新思路。为实现这一目标，工商银行正加快推进大数据技术平台与华为云的融合，构建混布式容器化和存算分离架构，进一步提升大数据平台的高可用、稳定性，以及资源的灵活扩展能力，更好满足工商银行“全数据存储、全数据挖掘、全算法应用、全场景布署”的需要。

其实，华为云智能数据湖FusionInsight不仅仅成功应用于像金融、电信这样的数字化转型排头兵，而且已广泛应用于医学、物流、互联网、汽车、政府等领域，覆盖全球60个国家及地区，服务着3000＋客户。

华为云FusionInsight为政企提供了全融合、智能化、云化的湖仓一体解决方案，主要包括MRS大数据、GaussDB（DWS）数据仓库、GES图计算、DAYU数据运营等云服务。

其中华为云FusionInsight MRS大数据、GaussDB（DWS）数据仓库，可助力客户构建坚实的数据底座，通过HetuEngine数据虚拟化引擎简化用数，提高效率。DAYU数据运营平台向下可接入日志、文本、视频、音频、图片等各类型数据，基于多样性算力与CarbonData，可实现全局一份数据的统一格式存储；向上为伙伴开发50＋数据集成开发API，携手800＋生态伙伴打造各行业应用。华为云还在全球多个地区设有OpenLab，以支撑与客户、合作伙伴在云和大数据方面的联合创新。

以客户为中心，以用好和管好数据为宗旨，华为云大数据通过持续的创新与升级，为政企的数字化转型和智能化升级铺路。这就是华为云的大数据之道。

责任编辑：gt