0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为云 GaussDB 助力国家统计局, 开启统计现代化改革新篇章

jf_81200783 来源:jf_81200783 作者:jf_81200783 2025-02-12 16:49 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

2023 年 8 月至 2024 年 5 月,华为云 GaussDB 助力国家统计局顺利完成第五次全国经济普查(简称“五经普”)单位清查和普查登记数据采集处理工作。在此期间,全国 200 多万名普查员通过手持终端设备,依托华为云 GaussDB 对全国范围内的 1 亿多普查对象进行普查数据采集与处理,为国家宏观经济决策提供了重要基础数据。

一、千挑万选,落定 GaussDB,打造全局“一朵云”

“五经普”是一项重要的国情国力调查,肩负着摸清我国经济家底、推动高质量发展的重要任务。国家统计局历时三年建设的统计云技术平台,作为统计云建设工程的关键支撑,在统计数据的采集、审核、验收及汇总等关键业务场景中,首次在“五经普”实现了大规模的应用。

“五经普”在数据采集方式上进行了革新,通过部署在统计云技术平台上的国家统计局数据采集处理系统直接进行数据填报,在业务高并发、海量数据处理和数据实时性、准确性、一致性等方面,对应用系统提出了更高要求。

作为支撑统计云业务运行的重要基础设施,选择一款合适的数据库至关重要,也并非易事。经过深度市场调研和分析研究,华为云 GaussDB 在可用性、性能和迁移等方面,能够较好地满足国家统计局业务工作要求。

此外,华为公司与国家统计局有多年合作基础,华为终端、网络、服务器和存储产品已在第三次全国农业普查、第四次全国经济普查、第七次全国人口普查等数据采集处理场景中得到应用。随着 GaussDB 在统计云工程中的成功应用,更是实现了全局“一朵云”的架构,推动了统计现代化改革发展。

二、“五经普”多业务场景下,细数 GaussDB 面临的诸多挑战

“五经普”采集模式的创新与落地,离不开统计云技术平台的强大资源支撑、多样化的功能调用以及丰富的实践经验。其中,华为云 GaussDB 数据实时汇集与分析能力,更是支撑统计云平台实现了“一网通办,一云统管”。在“五经普”业务保障过程中,GaussDB 主要面临两大挑战:

(一)采集高峰期业务高并发导致系统压力大。“五经普”数据采集处理系统需确保全国 200 多万普查员、168 万“一套表”单位(规模企业)、26 万统计机构人员用户能够高效、准确地填报和处理 1.2 亿普查对象的普查数据。

(二)“五经普”业务逻辑要求在同一段时间内完成数据的填报(写入)和审核验收(读取)操作。“五经普”普查登记数据采集时间是 2024 年 1 月 1 日至 4 月 30 日,在此期间,各级统计机构用户需要同步开展数据审核、验收和汇总。系统运行时,压力主要集中在上午 9 点至 12 点和下午 2 点至 5 点。在实现数据的快速读写(业务的增删改查 SQL 语句量约为每秒百万条)的同时,系统还需具备强大的数据分析能力,能够完成上万条数据的汇总分析任务,以确保数据的实时性、准确性和一致性。

三、华为云 GaussDB 提供更优解决方案,有效承载业务压力

作为统计云技术平台的有力基础支撑,GaussDB 通过分布式技术架构部署与优化策略,确保了数据采集任务的高效执行与精确完成,为统计云技术平台的稳定运行与高效运作提供强力支持。

(一)GaussDB 分布式部署,顶住五经普业务高峰压力。一是“五经普”数据采集处理系统采用 GaussDB 分布式多节点(15 节点),单库容量最大支撑达到 100TB,前期通过在线扩容,实现对业务的最小化影响。二是借助 GaussDB 分布式执行框架,根据业务 SQL 生成最优执行计划,并利用并行执行等技术,使得每秒事务处理数(TPS)轻松突破 10 万大关,显著提升分布式执行效率。三是 GaussDB 多集群节点、线程池和连接池等技术能力,在高并发场景下,可实现毫秒级查询响应,有效应对业务高峰。同时,针对分布式数据库开展了一系列优化,共包括 134 类慢 SQL,有效地降低数据库的运行压力,保障系统的稳定运行。

(二)DRS 数据实时同步,“两”库并行,保障数据高效入库和实时分析。华为云 GaussDB 采用采集库与汇总库分离策略,由采集库存储采集数据,然后通过数据复制服务(DRS)将采集数据快捷汇聚到汇总库,以便更加高效的执行汇总任务。在此过程中,DRS 支持将其他数据库迁移过来的全量数据,一次性同步至 GaussDB 中。同时,通过实时解析源库日志,将解析到的增量数据转换为 DRS 内存存储格式,达到 100MB/s 的数据处理速度,确保绝大多数情况下的秒级响应时延,从而满足业务对读写分离的需求。

四、GaussDB 助力谱写统计现代化改革新篇章

GaussDB 高可用、高性能、易迁移等技术能力,保障了统计云圆满完成统计业务工作,为上层统计核心业务系统提供合规保障,确保统计业务的连续性。在“五经普”单位清查数据合并场景中,数据处理耗时从原来的 18 分钟缩短至 2 分钟;在“五经普”普查登记数据采集场景中,高峰期单个节点的并发量突破了 12000TPS,成功支撑超过 30 万用户同时在线,每秒处理业务量超过 10 万笔,峰值查询量达每秒 120 万次,采集响应时延低于 20 毫秒。此外,在完成“五经普”的数据采集任务后,GaussDB 还支撑了国家统计局核心业务系统——联网直报系统,为数据的实时上报、高效处理和深度分析提供了坚实的技术支撑。

统计云平台创新成果在中国统计信息化建设史上开创了先河,实现了“多个首次”,全面承载国家统计局的核心业务系统,以数字化转型驱动统计现代化改革。未来,华为云 GaussDB 将与国家统计局继续携手,共同推动统计高质量发展,以统计现代化更好服务中国式现代化。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    8058

    浏览量

    144945
  • 数据采集
    +关注

    关注

    42

    文章

    8398

    浏览量

    121356
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    神州数码旗下神州鲲泰携手江苏纺知开启家纺产业数智新篇章

     神州鲲泰携手江苏纺知,以国产算力底座融合家纺行业数据,破解家纺企业研发与品控关键环节痛点,单品开发效率提升10倍、验布效率提升3倍,开启家纺产业数智
    的头像 发表于 04-15 17:05 712次阅读

    中央空调变频器:SiC碳化硅化开启低碳建筑新篇章

    中央空调变频器:SiC碳化硅化开启低碳建筑新篇章 引言:商用建筑能效挑战与宽禁带半导体的历史性机遇 在全球应对气候变化、致力于实现净零排放的宏观经济与政策背景下,建筑环境的能源消耗问题已成为各国实现
    的头像 发表于 03-07 09:04 491次阅读
    中央空调变频器:SiC碳化硅化<b class='flag-5'>开启</b>低碳建筑<b class='flag-5'>新篇章</b>

    国家统计局领导一行莅临思必驰参观调研

    2月26日,国家统计局副局长、党组成员盛来运一行莅临思必驰参观调研,深入考察企业在对话式人工智能领域的技术创新、产业赋能情况,江苏省统计局党组书记、局长王显东,苏州市委常委,市人大常委会副主任,苏州工业园区党工委书记沈觅陪同调研,思必驰董事长、CEO高始兴热情接待。
    的头像 发表于 03-03 11:51 750次阅读

    曙光携手Moltbot革新行业智能体

    政务、工业、矿业等领域的深厚积淀,为企业用户提供了更具垂直性的集成解决方案,开启行业智能体“个人化”新篇章
    的头像 发表于 02-01 15:37 1473次阅读

    国资入主联创电子开启企业发展崭新篇章

    冬日暖阳耀赣江,联创电子谱新章。2025年12月25日,联创电子科技股份有限公司(证券简称:联创电子,股票代码:002036)股票复牌,正式书写企业发展历程中的崭新篇章
    的头像 发表于 01-09 14:47 903次阅读

    迅为Hi3403开发板驱动教程全面上线,开启嵌入式Linux开发新篇章

    迅为iTOP-Hi3403开发板linux驱动教程全面上线,开启嵌入式Linux开发新篇章
    的头像 发表于 12-18 14:23 993次阅读
    迅为Hi3403开发板驱动教程全面上线,<b class='flag-5'>开启</b>嵌入式Linux开发<b class='flag-5'>新篇章</b>!

    广汽集团与华为数字能源开启深度协同新篇章

    和充电表现、整车驾乘体验提升,围绕动力域相关系统和整车产品的设计、制造、销售服务展开深入合作,开启深度协同新篇章
    的头像 发表于 11-11 15:22 787次阅读

    西班牙工程与技术公司携手FLIR开启高温检测新篇章

    在钢铁制造这一传统而充满挑战的领域,高温与恶劣环境如同两道难以逾越的鸿沟,横亘在提升生产效率与质量的道路上。然而,西班牙工程与技术先锋BcB Informatica y Control携手Flir公司,构建了创新的技术解决方案,正为这一行业注入智能升级的新动力,开启高温
    的头像 发表于 11-02 11:37 1132次阅读

    华为网络技术赋能上海院开启智慧建筑新篇章

    智慧建筑的实践者和推动者,也正在通过网络技术的创新应用,打造智慧、绿色的高品质万兆园区新标杆,以数智力量共拓“城市更新”崭新篇章
    的头像 发表于 10-30 10:17 885次阅读

    具身智能破壁者Dexmal原力灵机,靠Dexbotic开启加速时代

    构筑统一底座,Dexmal原力灵机靠Dexbotic开启具身智能新篇章
    的头像 发表于 10-23 00:24 7914次阅读
    具身智能破壁者Dexmal原力灵机,靠Dexbotic<b class='flag-5'>开启</b>加速时代

    国家统计局:9月规模以上工业增加值增长6.5%

    国家统计局发布的消息显示9月规模以上工业增加值增长6.5%,下面我们一起看下详细数据。 9月份,规模以上工业增加值同比实际增长6.5%(增加值增速均为扣除价格因素的实际增长率)。从环比看,9月份
    的头像 发表于 10-21 15:37 1315次阅读
    <b class='flag-5'>国家统计局</b>:9月规模以上工业增加值增长6.5%

    曙光与河北交规院开启智慧交通新篇章

    日前,曙光与河北省交通规划设计研究院有限公司(以下简称“河北交规院”)正式签署合作协议。双方将围绕智慧高速建设、数字转型、技术创新与市场推广等领域展开深度合作,共同推动交通基础设施智能升级,
    的头像 发表于 09-30 15:51 1352次阅读

    成都华微与具身科技开启四川具身智能产业新篇章

    人形机器人整机平台“天行者2号”,更迎来产业链多方战略合作的重大突破,成都华微电子科技股份有限公司(以下简称成都华微)作为核心硬件合作伙伴参与签约,共同开启四川具身智能产业新篇章
    的头像 发表于 09-30 11:48 1491次阅读

    盘古信息PCB解决方案:破译智造密码,开启智造新篇章

    。如何突破瓶颈,实现从“制造”向“智造”的华丽转身,成为PCB企业亟待破解的时代课题。广东盘古信息科技股份有限公司(以下简称:盘古信息)洞察行业痛点,以重构之力,打造出IMS MOM制造运营管理系统PCB行业解决方案,开启PCB智造新篇章。 盘古
    的头像 发表于 09-09 08:52 832次阅读

    台电机驱动:开启智能化时代的新篇章

    在科技飞速发展的今天,智能已经渗透到我们生活的方方面面。而在众多科技领域中,台电机驱动技术正以其独特的魅力,开启着智能化时代的新篇章
    的头像 发表于 07-23 18:16 1215次阅读