0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据分析平台实现支持多维度筛选的交互式界面,是由哪些部分组成

牵手一起梦 来源:中琛源 作者:佚名 2020-09-15 14:45 次阅读

在搭建大数据分析平台之前,要先明确业务需求场景以及用户的需求,通过大数据分析平台,想要得到哪些有价值的信息,需要接入的数据有哪些,明确基于场景业务需求的大数据平台要具备的基本功能,来决定平台搭建过程中使用的大数据处理工具和框架。

大数据分析平台自下而上一般分为三个部分,分别为:数据层、大数据采集与存储、数据分析及展示。

(1)数据层,针对不同系统进行分析,制定系统数据采集范围与目标,收集各个业务系统产生的各类数据,将各种结构化和非结构化数据进行整合,为大数据的分析提供支撑。

(2)大数据采集与存储旨在为各类异构数据研制适配接口,与其他各系统对接,并为数据提供适配、转换、存储等基本管理功能,基本步骤包括:

数据抽取:针对大数据分析平台需要采集的各类数据,分别有针对性地研制适配接口。对于已有的信息系统,研发对应的接口模块与各信息系统对接,不能实现数据共享接口的系统通过ETL工具进行数据采集,支持多种类型数据库,按照相应规范对数据进行清洗转换,从而实现数据的统一存储管理。

数据预处理:为使大数据分析平台能更方便对数据进行处理,同时为了使得数据的存储机制扩展性、容错性更好,需要把数据按照相应关联性进行组合,并将数据转化为文本格式,作为文件存储下来。

数据存储:为了提升数据存储的扩展性和容错性,采用主流的大数据框架对各类数据统一进行文本化存储,数据按相应规则存储,实现每日保存一套完整数据文件集,形成数据仓库。

(3)数据分析和展示是核心业务层,通过数据报表工具,根据需求制定多样的,针对性的数据报表。针对存储的数据进行数据处理、算法运行、结果转换操作,将结果保存为报表文件,每日形成的报表文件集。报表展现系统将生成的报表文件以可视化方式进行展现。

系统架构应高安全性、易扩展性,能够支持各类主流开发语言,并提供丰富的接口。同时能够支持结构化和非结构化数据的存储和应用。通过建立物联网应用,实现对物品、人员、安全等各方面管理的强大支撑,提升管理质量的同时积累大量管理数据和行为数据。

大数据分析平台是企业一体化的大数据分析与应用平台,为企业提供大数据分析与决策。

建设大数据分析平台以安全、可扩展、灵活性为原则,把某些有业务联系的单图组织成一个数据可视化的模块,用来反映业务各方面的数据情况,它从多种数据源获取数据,实现支持多维度筛选的交互式界面。

大数据分析平台由哪些部分组成.中琛魔方大数据分析平台表示大数据分析处理平台(zcmorefun.com)就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具,实现对数据的挖掘和分析。一个大数据分析平台涉及到的组件众多,如何将其有机地结合起来,完成海量数据的挖掘是一项复杂的工作。

责任编辑:gt

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 接口
    +关注

    关注

    33

    文章

    8585

    浏览量

    151077
  • 大数据
    +关注

    关注

    64

    文章

    8884

    浏览量

    137423
收藏 人收藏

    评论

    相关推荐

    raid 在大数据分析中的应用

    RAID(Redundant Array of Independent Disks,独立磁盘冗余阵列)在大数据分析中的应用主要体现在提高存储系统的性能、可靠性和容量上。以下是RAID在大数据分析
    的头像 发表于 11-12 09:44 242次阅读

    云计算在大数据分析中的应用

    和处理大规模的数据集。通过云计算平台,用户可以快速构建数据仓库,将海量数据进行存储、管理和分析。这种能力使得企业能够高效地处理PB级别的
    的头像 发表于 10-24 09:18 446次阅读

    IP 地址大数据分析如何进行网络优化?

    一、大数据分析在网络优化中的作用 1.流量分析 大数据分析可以对网络中的流量进行实时监测和分析,了解网络的使用情况和流量趋势。通过对流量数据
    的头像 发表于 10-09 15:32 231次阅读
    IP 地址<b class='flag-5'>大数据分析</b>如何进行网络优化?

    焊接专机是部分组成

    焊接专机在现代制造业中扮演着至关重要的角色,特别是在汽车、建筑和重工业等领域。了解焊接专机的组成部分,有助于更好地掌握其工作原理与应用。那么,焊接专机是部分组成的?本文将为您详细介绍焊接专机
    的头像 发表于 09-29 17:33 216次阅读
    焊接专机是<b class='flag-5'>由</b>几<b class='flag-5'>部分组成</b>的

    负载均衡服务部分组成?分别是什么

    均衡服务通常部分组成,分别是客户端、负载均衡器、后端服务器、负载均衡算法、监控和健康检查及会话保持。这六者互相协同工作,实现了流量的有效分发和系统的高可用性。这种结构不仅提高了系统的容错能力,还能够根据实际需求灵活调整资源配
    的头像 发表于 09-18 11:16 262次阅读

    什么是labview?labview编写的程序哪几部分组成?

    通常以下几个部分组成: 前面板(Front Panel) :这是用户界面部分,用于显示和控制程序。用户可以通过前面板输入数据、启动程序、查看结果等
    的头像 发表于 09-04 16:04 833次阅读

    集成运算放大器哪些部分组成?

    、集成运算放大器的组成 集成运算放大器主要由以下几个部分组成: 输入级:输入级是运算放大器的前端部分,通常采用差分放大器结构。差分放大器两个晶体管或MOSFET
    的头像 发表于 08-01 11:28 967次阅读

    大数据分析平台网站

    大数据分析平台是一种用于处理和分析大规模数据集的系统,旨在从海量数据中提取有价值的信息和洞察。以下是大数
    的头像 发表于 06-28 15:46 663次阅读

    简述cnc机床哪几部分组成

    加工、模具制造、航空航天、汽车制造等领域。CNC机床主要由以下几个部分组成: 床身:床身是CNC机床的基础部分,它支撑着整个机床的重量和运动部件。床身通常高强度的铸铁或钢材制成,具有足够的刚性和稳定性。床身的设计和制造质量直接
    的头像 发表于 06-14 16:59 1678次阅读

    数控铣床哪些部分组成的?各部分有什么关系

    数控铣床是一种高度自动化的机床,广泛应用于机械加工、模具制造、航空航天等领域。它多个部分组成,各部分之间相互协作,共同完成加工任务。以下是对数控铣床各部分的详细介绍: 床身:床身是数
    的头像 发表于 06-07 10:39 2165次阅读

    求助,关于AD采集到的数据分析问题

    MATLAB中画图后能看到几个周期的图像 数据特征:在matlab中能看到图像是部分构成,一部分是基波及其n次谐波,即存在上升沿,过冲,另一
    发表于 05-09 07:40

    广告投放公司运用大数据分析实现精准投放

    广告投放公司运用大数据分析实现精准投放 随着大数据技术的不断发展,广告投放行业正经历着一场深刻的变革。传统的广告投放方式已经难以满足市场需求,而大数据分析则为广告投放带来了精准、高效
    的头像 发表于 04-11 11:23 934次阅读

    集成运算放大器哪些部分组成?各部分的作用是什么

    集成运算放大器是一种集成电路器件,多个部分组成。主要的部分包括输入级、差动放大器、输出级等。下面将详细介绍每个部分的作用。 输入级:输入级主要负责输入信号的放大和滤波。输入级一般
    的头像 发表于 02-22 10:35 3786次阅读

    Hadoop是什么?其核心两大部分组成,分别是什么?

    了分布存储和计算的方式,能够快速有效地处理大量数据,并具备良好的扩展性和容错性。 Hadoop的核心两大部分组成,分别是Hadoop分布
    的头像 发表于 02-05 10:52 1831次阅读

    灌区信息化系统介绍(大数据分析为农业决策提供支持

    智慧灌区平台数据监测系统、设备控制系统和决策支持系统三部分组成数据监测系统集成了水位计、流量
    的头像 发表于 01-23 10:46 841次阅读
    灌区信息化系统介绍(<b class='flag-5'>大数据分析</b>为农业决策提供<b class='flag-5'>支持</b>)