0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据分析技术架构的通用模块

h1654155282.3538 来源:加米谷大数据张衡 作者:加米谷大数据张衡 2020-10-29 15:13 次阅读

对于企业而言,坐拥庞大的数据资源,想要实现大数据分析,首要的就是要搭建起自身的大数据系统平台,而每个公司都有自己特定的业务场景,因此在大数据平台上的需求是不一样的。今天我们仅从通用的角度,来聊聊大数据分析需要什么技术架构?

我们熟悉的以BAT为首的互联网大厂,都拥有自身的大数据系统平台,但是各自面临的业务场景是不同的,比如说腾讯,主要是社交业务场景;百度,主要是搜索业务场景;而阿里,主要是电商业务场景。

这样不同的业务场景下,需要根据实际的业务需求,选择适合自己的技术框架,来搭建自己的大数据架构体系。但是从技术架构体系的共性来说,是可以从通用的技术模块去理解,来帮助我们更好地学习和掌握大数据技术架构的。

数据收集模块:主要负责收集各种数据源的数据,包括日志文件、网络请求、数据库、消息队列等,并将这些数据转换为文件或者消息向后传递。

数据转存模块:主要负责将数据定时传递到分布式存储或者实时传递给下游的数据处理程序。

ETL模块:主要负责数据的清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库等。

数据仓库模块:这是整个架构的核心,数据仓库是数据有组织的集中存储的地方,负责数据的存取和管理。

元数据管理模块:主要负责记录和约束数据仓库中数据的含义和格式,控制着数据的生命周期和数据质量。

分析引擎模块:数据分析师交互最多的模块,主要负责执行各种分析语句或代码,完成各种分析任务。

作业管理与调度模块:负责分析作业的管理和定时调度,包括作业的增删改查、查看修改历史、设置调度定时和执行引擎等。

资源分配与调度模块:主要负责在多作业同时运行的场景下,有效协调和分配集群的资源,使资源利用率最大化。
责任编辑人:CC

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据
    +关注

    关注

    64

    文章

    8849

    浏览量

    137164
  • 大数据分析
    +关注

    关注

    1

    文章

    131

    浏览量

    16861
收藏 人收藏

    评论

    相关推荐

    emc技术大数据分析中的角色

    大数据分析通常涉及来自多个来源和格式的数据。这些数据可能包括结构化数据(如数据库中的表格数据
    的头像 发表于 11-01 15:22 147次阅读

    云计算在大数据分析中的应用

    云计算在大数据分析中的应用广泛且深入,它为用户提供了存储、计算、分析和预测的强大能力。以下是对云计算在大数据分析中应用的介绍: 一、存储和处理海量数据 云计算提供了强大的存储和计算能力
    的头像 发表于 10-24 09:18 237次阅读

    IP 地址大数据分析如何进行网络优化?

    一、大数据分析在网络优化中的作用 1.流量分析 大数据分析可以对网络中的流量进行实时监测和分析,了解网络的使用情况和流量趋势。通过对流量数据
    的头像 发表于 10-09 15:32 125次阅读
    IP 地址<b class='flag-5'>大数据分析</b>如何进行网络优化?

    数据分析除了spss还有什么

    数据分析是当今世界中一个非常重要的领域,它涉及到从大量数据中提取有用信息、发现模式和趋势,并为决策提供支持。SPSS(Statistical Package for the Social
    的头像 发表于 07-05 15:01 489次阅读

    数据分析的工具有哪些

    数据分析是一个涉及收集、处理、分析和解释数据以得出有意义见解的过程。在这个过程中,使用正确的工具至关重要。以下是一些主要的数据分析工具,以及它们的功能和用途的介绍。 Excel Exc
    的头像 发表于 07-05 14:54 708次阅读

    数据分析有哪些分析方法

    数据分析是一种重要的技能,它可以帮助我们从大量的数据中提取有价值的信息,从而做出更明智的决策。在这篇文章中,我们将介绍数据分析的各种方法,包括描述性分析、诊断性
    的头像 发表于 07-05 14:51 442次阅读

    机器学习在数据分析中的应用

    随着大数据时代的到来,数据量的爆炸性增长对数据分析提出了更高的要求。机器学习作为一种强大的工具,通过训练模型从数据中学习规律,为企业和组织提供了更高效、更准确的
    的头像 发表于 07-02 11:22 497次阅读

    大数据分析平台网站

    大数据分析平台是一种用于处理和分析大规模数据集的系统,旨在从海量数据中提取有价值的信息和洞察。以下是大数据分析平台的主要功能和应用场景: 主
    的头像 发表于 06-28 15:46 508次阅读

    求助,关于AD采集到的数据分析问题

    问题描述:使用AD采集一个10Hz到2MHz的脉冲,脉冲底部可能大于零,由采集到的数据分析出该脉冲的上升时间,幅值和占空比。 备注:在分析的时候已经知道脉冲的频率,精度为2X10^-5. 在分析
    发表于 05-09 07:40

    态势数据分析系统软件

    智慧华盛恒辉态势分析软件系统的功能描述、部署环境、界面使用、技术支持及一些常见问题及其解决办法等。为数据态势分析软件系统的管理人员和使用人员提供说明。 智慧华盛恒辉态势
    的头像 发表于 04-22 11:36 385次阅读

    广告投放公司运用大数据分析,实现精准投放

    广告投放公司运用大数据分析,实现精准投放 随着大数据技术的不断发展,广告投放行业正经历着一场深刻的变革。传统的广告投放方式已经难以满足市场需求,而大数据分析则为广告投放带来了精准、高效
    的头像 发表于 04-11 11:23 672次阅读

    大数据技术如何为精益管理赋能?

    管理提供数据支持 精益管理强调以数据为基础,通过数据分析和挖掘,发现企业运营中的问题和瓶颈,进而优化流程、提高效率。大数据技术能够实时收集、
    的头像 发表于 12-19 09:58 545次阅读

    Get职场新知识:做分析,用大数据分析工具

    综合分析。但现在有了大数据分析工具,一切问题都可迎刃而解。 大数据分析工具,顾名思义就是专门为分析海量数据而开发的一类工具。这类工具具有极强
    发表于 12-05 09:36

    使用Minitab的跨行业模块提升您的数据分析

    如今,数据就是一切。从预测未来结果到提高产品质量,数据分析对于任何想要保持竞争力的组织都是必不可少的。然而,大多数数据是收集的,从来没有分析过,当涉及到
    的头像 发表于 11-27 11:44 413次阅读

    电梯物联网大数据平台是什么意思?

    电梯物联网大数据化平台是将电梯的使用时间和管理中的各项数据进行采集,整合及利用大数据分析能力和计算机视觉技术、结合关联分析、空间
    的头像 发表于 11-23 11:01 752次阅读