0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

企业数据集成是什么呢?

秒秒说数据 来源:秒秒说数据 作者:秒秒说数据 2022-07-13 14:51 次阅读

企业数据集成是将不同来源的数据整合在一个数据库中的过程,即异构数据之间的同步。将不同种类,不同版本的数据库、文件、Mail等之间进行同步。由于不同的数据源定义属性时命名规则不同,存入的数据格式、取值方式、单位都会有不同。因此即便两个值代表的业务意义相同,也不代表存在数据库中的值就是相同的。因此需要数据入库前进行集成,去冗余,保证数据质量。数据集成可以认为是ETL(BI上的定义为:抽取——转换——清洗——过滤——加载);但更强调自动化过程管理。

在实现机制上,应包括常见的集成模式:Split/Merge/Route/PS等;另外还应该具备建模(元数据管理)和治理(Governace)功能。

数据集成有什么意义呢?

数据集成意义主要是实现数据中心,例如企业级SID;或者遗留系统在数据层面的集成。在建立全局SID的基础上,可以构建很多有意义的东西:例如Portal/CMS,报表,数据搜索,挖掘等等,这些可以概括地称为BI,即商业智能

因此,数据集成有两个层面的意义:

1)操作层面

2)分析层面

数据集成的实现步骤:

1.界定数据交互的项别与内容,如:PDM系统和ERP系统之间的BOM数据;

2.指定数据交互周期,一天一次,还是一周一次;

3.选择交互方式,通过数据库,还是中间件技术来交互;

4.由ODS数据交互调度程序实现数据上载或是由外围系统自行实现数据下载,从而实现数据的集成。

数据集成会出现的问题:

1.数据重复

检查数据重复一般需要通过主要关键词,最好对主要关键词进行优化,过滤重复数据。在数据结构尽量调研每个字段的含义,拆分或整合。重复数据入库,不仅会给日后的数据关联造成极大的影响,也会影响数据分析与挖掘的效果,应尽量避免。

2.数据冲突

数据冲突就是两个数据源中同样的数据,但是取值记录的不一样。造成这种情况除了有人工误入,还有可能是因为货币计量的方法不同,汇率不同,税收水平不同、评分体系不同等等原因。

对待数据冲突问题,就需要对实际的业务知识有一定的理解。同时,对数据进行调研,尽量明确造成冲突的原因。如果数据的冲突实在无法避免,就要考虑冲突数据是否都要保留、是否要进行取舍,如何取舍等。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据库
    +关注

    关注

    7

    文章

    3750

    浏览量

    64207
  • ETL
    ETL
    +关注

    关注

    0

    文章

    20

    浏览量

    9376
  • 数据集成
    +关注

    关注

    0

    文章

    53

    浏览量

    9174
收藏 人收藏

    评论

    相关推荐

    MES系统的数据集成方法

    在当今竞争激烈的制造业环境中,数据的实时性和准确性对于提高生产效率和降低成本至关重要。MES系统作为连接企业资源规划(ERP)系统和车间控制系统的桥梁,其数据集成能力直接影响到生产过程
    的头像 发表于 10-27 09:29 197次阅读

    万界星空科技 MES数据集成平台

    MES数据集成平台在制造业中具有重要的作用。通过可靠性、灵活性、实时性、安全性以及效率提升等特点,它为制造企业提供了高质量的数据支持,促进了数字化转型的顺利进行。
    的头像 发表于 10-07 14:04 105次阅读
    万界星空科技 MES<b class='flag-5'>数据</b>的<b class='flag-5'>集成</b>平台

    MES、ERP、PLM等工业系统的数据集成方案

    制造业企业越来越重视核心资产的重要价值,如销售数据、生产数据、技术数据、资产数据、运维数据等,对
    的头像 发表于 07-01 10:49 410次阅读
    MES、ERP、PLM等工业系统的<b class='flag-5'>数据</b><b class='flag-5'>集成</b>方案

    关于企业数据防泄密解决方案

    防止企业数据泄密不仅是企业财产安全、声誉安全、客户资料安全,更是企业信息安全发展未来的一个关键。企业可以采用以下几种方法来解决
    的头像 发表于 05-20 10:35 436次阅读

    数据中台工具:企业数据管理的核心动力

    在数字经济时代,数据中台工具已经成为各大企业提升效率、优化决策的核心动力。通过集成、分析和管理企业内外的各种数据
    的头像 发表于 04-26 17:30 431次阅读

    什么数据集成(Data Integration):如何将业务数据集成到云平台?

    说到数据集成(Data Integration),简单地将所有数据倒入数据湖并不是解决办法。 在这篇文章中,我们将介绍如何轻松集成数据、链接
    的头像 发表于 04-22 17:59 630次阅读

    企业如何使用SNP Glue将SAP与Snowflake集成

    SNP Glue是SNP的集成技术,适用于任何云平台。它最初是围绕SAP和Hadoop构建的,现在已经发展为一个集成平台,虽然它仍然非常专注SAP,但可以将几乎任何数据源与任何数据目标
    的头像 发表于 04-17 11:34 256次阅读

    数据中台:如何构建企业核心竞争力

    在当今信息化快速发展的商业环境下,“数据中台”已经成为构建企业核心竞争力的关键步骤。数据中台不仅是数据集成与管理的平台,更是
    的头像 发表于 03-22 16:28 349次阅读
    <b class='flag-5'>数据</b>中台:如何构建<b class='flag-5'>企业</b>核心竞争力

    SNP Glue 数据集成整合创新SAP数据,释放数据价值#SAP

    SAP数据集成
    snpgroup
    发布于 :2024年01月29日 23:43:31

    上海认定首批创新型企业总部,10家集成电路企业入选

    据央视新闻报道,12月5日,第一批上海市创新型企业总部授牌仪式举行。此次上海共认定40家创新型企业总部,涵盖集成电路、生物医药、人工智能、数字经济等重点产业领域。
    的头像 发表于 12-06 12:22 546次阅读

    电子芯片集成电路设计行业企业内部员工防泄密问题的怎么解决?

    中国的芯片设计产业在提升自给研发技术公关问题也取得了骄人的成绩,保持了高速的成长,但是对于芯片行业企业核心研发数据对每一个研发企业来说也是至关重要的。为了确保集成
    的头像 发表于 12-05 11:34 398次阅读
    电子芯片<b class='flag-5'>集成</b>电路设计行业<b class='flag-5'>企业</b>内部员工防泄密问题的怎么解决?

    SNP推出新Glue软件Saas版本,助力云数据集成

    SNP推出新版SNP Glue软件,作为CrystalBridge技术平台的一部分,可实现SAP数据与非SAP数据源之间的云原生集成,简化企业数据
    的头像 发表于 12-05 08:41 353次阅读

    Oracle与Redis Enterprise协同,作为企业缓存解决方案

    单独使用Oracle作为企业缓存数据库时,会出现哪些问题?使用RedisEnterprise与Oracle共同用作企业级缓存或副本数据库,
    的头像 发表于 11-26 08:04 282次阅读
    Oracle与Redis Enterprise协同,作为<b class='flag-5'>企业</b>缓存解决方案

    Oracle与Redis Enterprise协同,作为企业缓存解决方案

    单独使用Oracle作为企业缓存数据库时,会出现哪些问题?使用Redis Enterprise与Oracle共同用作企业级缓存或副本数据
    的头像 发表于 11-22 10:00 441次阅读
    Oracle与Redis Enterprise协同,作为<b class='flag-5'>企业</b>缓存解决方案

    企业数据中台对企业数据治理有何作用?#数据中台 #光点科技

    数据
    光点科技
    发布于 :2023年11月21日 17:11:01