0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据入门分享:Hive应用场景

454398 来源:加米谷学院 作者:加米谷 2020-12-08 12:25 次阅读

在大数据的发展当中,大数据技术生态的组件,也在不断地拓展开来,而其中的Hive组件,作为Hadoop的数据仓库工具,可以实现对Hadoop集群当中的大规模数据进行相应的数据处理。今天我们的大数据入门分享,就主要来讲讲,Hive应用场景。

关于Hive,首先需要明确的一点就是,Hive并非数据库,Hive所提供的数据存储、查询和分析功能,本质上来说,并非传统数据库所提供的存储、查询、分析功能。

Hive数据仓库工具将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。通过类SQL语句实现快速MapReduce统计,使MapReduce编程变得更加简单易行。

Hive应用场景

总的来说,Hive是十分适合数据仓库的统计分析和Windows注册表文件。

Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS(Hive superimposes structure on data in HDFS),并允许使用类似于SQL语法进行数据查询。

Hive更适合于数据仓库的任务,主要用于静态的结构以及需要经常分析的工作。Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集。

Hive使用

Hive在Hadoop之上,使用Hive的前提是先要安装Hadoop。

Hive要分析的数据存储在HDFS,Hive为数据创建的表结构(schema),存储在RDMS(relevant database manage system关系型数据库管理系统,比如mysql)。

Hive构建在基于静态批处理的Hadoop之上,Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,Hive并不能够在大规模数据集上实现低延迟快速的查询,例如,Hive在几百MB的数据集上执行查询一般有分钟级的时间延迟。

Hive查询操作过程严格遵守Hadoop MapReduce的作业执行模型,Hive将用户的HiveQL语句通过解释器转换为MapReduce作业提交到Hadoop集群上,Hadoop监控作业执行过程,然后返回作业执行结果给用户。Hive的最佳使用场合是大数据集的批处理作业,例如,网络日志分析。

Hive优缺点

优点:

操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)。

Hive的执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合。

Hive优势在于处理大数据,对于处理小数据没有优势,因为Hive的执行延迟比较高。

Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。

缺点:

1.Hive的HQL表达能力有限

(1)迭代式算法无法表达递归算法

(2)数据挖掘方面不擅长(数据挖掘和算法机器学习

2.Hive的效率比较低

(1)Hive自动生成的MapReduce作业,通常情况下不够智能

(2)Hive调优比较困难,粒度较粗(快)

关于大数据培训,Hive应用场景,以上就为大家做了大致的介绍了。在大数据应用场景下,Hive更多是作为Hadoop的一个数据仓库工具,并不直接存储数据,但是却不可或缺。
编辑:hfy

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据
    +关注

    关注

    64

    文章

    8854

    浏览量

    137203
  • hive
    +关注

    关注

    0

    文章

    11

    浏览量

    3832
收藏 人收藏

    评论

    相关推荐

    SD NAND在大数据时代的应用场景

    和相对较低的成本,可以用于多种场景数据采集 :在大数据领域,大量的数据需要被采集和存储。SD NAND卡可以用于各种数据采集设备,如物联
    的头像 发表于 10-29 15:49 102次阅读
    SD NAND在<b class='flag-5'>大数据</b>时代的应<b class='flag-5'>用场景</b>

    实时示波器的技术原理和应用场景

    实时示波器是一种高性能的电子测量仪器,其技术原理和应用场景对于电子工程和通信技术领域具有重要意义。以下是对实时示波器的技术原理和应用场景的详细解释:一、技术原理实时示波器的工作原理基于电子束在荧光屏
    发表于 10-23 14:22

    源测量单元设备的技术原理和应用场景

    源测量单元(SMU)设备是一种集成了精密电源(PPS)和高性能数字万用表(DMM)功能的测试设备。以下是对其技术原理和应用场景的详细解析:一、技术原理 集成功能: SMU在单个仪器中集成了电源
    发表于 10-22 11:10

    频率计数器的技术原理和应用场景

    频率计数器,又称频率计,是一种专门用于测量信号频率的电子测量仪器。以下是对其技术原理和应用场景的详细分析:一、技术原理频率计数器的技术原理基于周期计数技术,即将已知时间长度的标准时钟信号与被测信号
    发表于 10-18 14:03

    基于Kepware的Hadoop大数据应用构建-提升数据价值利用效能

    处理超大数据集。 Hadoop的生态系统非常丰富,包括许多相关工具和技术,如Hive、Pig、HBase等,这些工具可以方便地构建复杂的大数据应用。Hadoop广泛应用于各种场景,包括
    的头像 发表于 10-08 15:12 101次阅读
    基于Kepware的Hadoop<b class='flag-5'>大数据</b>应用构建-提升<b class='flag-5'>数据</b>价值利用效能

    智能IC卡测试设备的技术原理和应用场景

    智能IC卡测试设备的技术原理和应用场景,可以从以下几个方面进行阐述:技术原理智能IC卡测试设备的技术原理主要围绕IC卡的通信和数据处理机制展开。IC卡(包括智能IC卡)通常内置有微电子芯片,该芯片
    发表于 09-26 14:27

    NFC协议分析仪的技术原理和应用场景

    NFC协议分析仪的技术原理和应用场景可以详细阐述如下:技术原理NFC(Near Field Communication,近场通信)协议分析仪是一种用于分析NFC通信协议和性能的专业设备。其技术
    发表于 09-25 14:45

    USB协议分析仪的技术原理和应用场景

    USB协议分析仪的技术原理和应用场景可以详细阐述如下:技术原理USB协议分析仪的技术原理主要基于以下几个方面: 总线监听:USB协议分析仪通过监听USB总线上的数据传输过程,实时捕获USB设备之间
    发表于 09-24 14:29

    大数据从业者必知必会的Hive SQL调优技巧

    大数据从业者必知必会的Hive SQL调优技巧 摘要 :在大数据领域中,Hive SQL被广泛应用于数据仓库的
    的头像 发表于 09-24 13:30 148次阅读

    FPGA与MCU的应用场景

    FPGA的应用场景有这些: 快速原型设计 FPGA可以快速配置成多种定制数字电路,允许在不需要昂贵且耗时的制造过程的情况下进行快速部署和修改。 硬件加速 在需要高性能和低延迟的应用中,FPGA的并行
    发表于 07-29 15:45

    大数据采集系统分为几类

    大数据采集系统是大数据生态系统中的重要组成部分,它负责从各种数据源收集、整合和存储数据。根据不同的数据源、采集方法和应
    的头像 发表于 07-01 15:44 1268次阅读

    “Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书(24版)DPU部分节选

    在奇点云2024年版《OLAP数据库引擎选型白皮书》中,中科驭数联合奇点云针对Spark+Hive这类大数据计算场景下的主力引擎,测评DPU环境下对比CPU环境下的性能提升效果。特此节
    的头像 发表于 05-30 16:09 436次阅读
    “Spark+<b class='flag-5'>Hive</b>”在DPU环境下的性能测评 | OLAP<b class='flag-5'>数据</b>库引擎选型白皮书(24版)DPU部分节选

    STM32待机模式适合用于那些应用场景

    对于查看STM32低功耗模式,共有三种,其中最省电的为待机模式,但是待机模式唤醒后相当于软件复位了,ram及寄存器中的值都复位了,仅仅是备份域的寄存器除外,因此有个疑问,待机模式适合用于那些应用场景
    发表于 05-07 07:46

    NanoEdge AI的技术原理、应用场景及优势

    能耗并提高数据安全性。本文将对 NanoEdge AI 的技术原理、应用场景以及优势进行综述。 1、技术原理 NanoEdge AI 的核心技术包括边缘计算、神经网络压缩和低功耗硬件设计。边缘计算
    发表于 03-12 08:09

    AG32VF-MIPI应用场景

    的基础上,集成了MIPI接口协议,提供了丰富的功能和特性,能够满足不同应用场景的需求,为用户提供更加全面、便捷、高效的数据传输方案。 基本参数: MIPI up to 1.5Gbps LVDS up
    发表于 01-22 08:56