0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据技术概念解析

我快闭嘴 来源: 山西区块链技术中心 作者:山西区块链技术中 2020-10-20 11:48 次阅读

大数据技术当中,在海量数据的存储环节,涉及到两个重要的概念,就是分布式数据存储与数据库,稳定高效安全的数据存储,才能为后续的计算分析环节,提供稳固的支持。今天的大数据概念解析,我们来讲讲分布式存储与数据库。

进入大数据时代,数据特征发生了明显的变化,数据规模大、非结构化/半结构化的数据多,使得大数据存储本身也需要克服很多的问题。要实现大规模数据的计算分析加工等问题,对于企业而言,需要通过各种手段来解决相关的问题,比如说通过优化存储基础设施,或者搭建高性能的大数据存储框架等等。海量数据的存储任务,针对于不同的应用场景,往往需要因地制宜地选择存储方案,因此有了对象存储、块存储、文件系统存储等。

分布式文件/对象存储系统

分布式存储系统面向海量数据的存储访问与共享需求,提供基于多存储节点的高性能,高可靠和可伸缩性的数据存储和访问能力,实现分布式存储节点上多用户的访问共享。目前业界比较流行的分布式存储系统包括:HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS等。

分布式关系型数据库

关系型数据库是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。目前业界比较流行的分布式关系型数据库包括:DRDS、TiDB、GreenPlum、Cobar、Aurora、Mycat等。

分析型数据库

分析数据库是面向分析应用的数据库,与传统的数据库不同,它可以对数据进行在线统计、数据在线分析、随即查询等发掘信息数据价值的工作。目前业界比较流行的分析型数据库包括:Kylin、AnalyticDB、Druid、Clickhouse、Vertica、MonetDB、InfiniDB、LucidDB等。

图数据库

图数据库的基本含义是以“图”这种数据结构存储和查询数据,而不是存储图片的数据库。目前业界比较流行的图数据库包括:Titan、Neo4J、ArangoDB、OrientDB、MapGraph、ALLEGROGRAPH等。

列存储数据库

列式数据库是以列相关存储架构进行数据存储的数据库,主要适合于批量数据处理和即时查询。目前业界比较流行的列存储数据库包括:Phoenix、Cassandra、Hbase、Kudu、Hypertable等。

文档数据库

文档型数据库是NoSQL中非常重要的一个分支,它主要用来存储、索引并管理面向文档的数据或者类似的半结构化数据。目前业界比较流行的文档型数据库包括:MongoDb、CouchDB、OrientDB、MarkLogic等。

键值存储数据库

键值存储(Key-Value)是NoSQL中,数据模型中比较简单的一个了,主要就是用哈希表,通过对于键(Key)的查找来找到特定的数据。目前业界比较流行的键值存储数据库包括:Redis、Memcached、Tair等。关于大数据概念解析,分布式存储与数据库,以上就为大家做了一个简单的介绍了。大数据存储环节,涉及到分布式与数据库,是需要重点去掌握的一部分,对于主流的技术架构也需要有相应程度的掌握。

目前业界比较流行的键值存储数据库包括:Redis、Memcached、Tair等。

关于大数据概念解析,分布式存储与数据库,以上就为大家做了一个简单的介绍了。大数据存储环节,涉及到分布式与数据库,是需要重点去掌握的一部分,对于主流的技术架构也需要有相应程度的掌握。
责任编辑:tzh

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4296

    浏览量

    85797
  • 大数据
    +关注

    关注

    64

    文章

    8882

    浏览量

    137392
收藏 人收藏

    评论

    相关推荐

    缓存对大数据处理的影响分析

    缓存对大数据处理的影响显著且重要,主要体现在以下几个方面: 一、提高数据访问速度 在大数据环境中,数据存储通常采用分布式存储系统,数据量庞大
    的头像 发表于 12-18 09:45 94次阅读

    ADS1675最大数据吞吐率是是多少?

    ADS1675 24bit的ADC的采样率最大是4Msps,请问这款adc的最大数据吞吐率是是多少?怎么算的,在datasheet中有明确写出来吗
    发表于 11-28 07:56

    VLAN 概念解析及使用场景

    1. VLAN 概念解析 VLAN(Virtual Local Area Network,虚拟局域网)是一种在交换网络中划分不同广播域的技术。VLAN 的主要目的是将一个物理局域网划分成多个逻辑
    的头像 发表于 11-19 09:33 478次阅读

    raid 在大数据分析中的应用

    的具体应用: 一、提高性能 并行读写 :RAID技术通过并行读写多个磁盘,可以显著提高数据的读写速度。在大数据分析环境中,数据读写速度是影响分析效率的关键因素之一。RAID 0(条带化
    的头像 发表于 11-12 09:44 229次阅读

    emc技术大数据分析中的角色

    大数据分析通常涉及来自多个来源和格式的数据。这些数据可能包括结构化数据(如数据库中的表格数据
    的头像 发表于 11-01 15:22 262次阅读

    智慧城市与大数据的关系

    智慧城市与大数据之间存在着密切的关系,这种关系体现在大数据对智慧城市建设的支撑和推动作用,以及智慧城市产生的大量数据大数据技术的应用需求。
    的头像 发表于 10-24 15:27 614次阅读

    梯云物联 智慧电梯数据先行:电梯大数据平台构建安全生态

    在现代化城市的摩天大楼中,电梯作为垂直交通的动脉,其安全性与效率直接关系到居民的生活质量和社会运行的顺畅。随着物联网、大数据、云计算等技术的飞速发展,智慧电梯的概念应运而生,而梯云物联电梯大数
    的头像 发表于 08-23 09:57 378次阅读

    使用CYW20829的BLE进行最大数据发送应用,BLE丢失数据如何解决?

    我目前正在使用 CYW20829 的 BLE 进行最大数据发送应用,我使用的是 FREERTOS(例程 Bluetooth_LE_GATT_Throughput_Server 是我的参考),蓝牙被
    发表于 07-23 07:56

    大数据在军事方面的应用

    决策支持:大数据技术为战争决策提供了全新的思路和工具。军事机关指挥系统通过搜集和分析大量的战场数据,可以建立复杂的决策模型,快速分析敌我态势,评估作战可行性,并推荐最优的战术方案。这种基于
    的头像 发表于 07-16 09:44 1062次阅读

    大数据采集系统分为几类

    和应用场景. 1. 概述 大数据采集系统是实现数据收集、处理和存储的关键环节。随着大数据技术的快速发展,大数据采集系统也在不断演进和创新。本
    的头像 发表于 07-01 15:44 1480次阅读

    大数据在军事方面的应用有哪些

    大数据技术为战争决策提供了全新的思路和工具。军事机关指挥系统通过搜集和分析大量的战场数据,可以建立复杂的决策模型,快速分析敌我态势,评估作战可行性,并推荐最优的战术方案。 利用大数据
    的头像 发表于 06-23 10:34 995次阅读

    CYBT-343026传输大数据时会丢数据的原因?

    我正在使用 CYBT-343026 (CYW-20706 Silicon) 模块。 我根据 SPP 样本制作了一个操作 SPP 的应用程序。 但是,传输大数据时有时会丢失数据。 它从
    发表于 03-01 15:04

    简析大数据技术下智能充电桩在网络系统中的应用

    简析大数据技术下智能充电桩在网络系统中的应用 张颖姣 安科瑞电气股份有限公司 上海嘉定 201801 摘要:*近几年来随着我国经济社会的飞速发展,各方面实力都有了明显的提升,尤其是步入21世纪以来
    的头像 发表于 02-26 10:57 441次阅读
    简析<b class='flag-5'>大数据</b><b class='flag-5'>技术</b>下智能充电桩在网络系统中的应用

    多业务光端机:实现高速数据传输的关键技术解析

    随着信息技术的迅猛发展,网络传输速度的需求日益提高。在这样的背景下,多业务光端机作为一种高速数据传输的关键设备,逐渐受到了业界的广泛关注。本文将对多业务光端机的关键技术进行深入解析,以
    的头像 发表于 02-23 14:10 588次阅读

    大数据技术是干嘛的 大数据核心技术有哪些

    大数据技术是指用来处理和存储海量、多类型、高速的数据的一系列技术和工具。现如今,大数据已经渗透到各个行业和领域,对企业决策和业务发展起到了重
    的头像 发表于 01-31 11:07 3382次阅读