Hive是什么?
答案:2 悬赏:10
解决时间 2022-01-01 19:14
- 提问者网友:温柔又任性
- 2021-12-31 23:25
Hive是什么?
最佳答案
- 二级知识专家网友:如果这是命
- 2022-01-01 00:15
此外,hive也支持熟悉map-reduce的开发者使用map-reduce程序对数据做更加复杂的分析。
hive可以很好的结合thrift和控制分隔符,也支持用户自定义分隔符。
hive基于hadoop,hadoop是批处理系统,不能保存低延迟,因此,hive的查询也不能保证低延迟。
hive的工作模式是:提交一个任务,等到任务结束时被通知,而不是实时查询。相对应的是,类似于Oracle这样的系统当运行于小数据集的时候,响应非常快,可当处理的数据集非常大的时候,可能需要数小时。需要说明的是,hive即使在很小的数据集上运行,也可能需要数分钟才能完成。
低延迟不是hive追求的首要目标。
hive可以很好的结合thrift和控制分隔符,也支持用户自定义分隔符。
hive基于hadoop,hadoop是批处理系统,不能保存低延迟,因此,hive的查询也不能保证低延迟。
hive的工作模式是:提交一个任务,等到任务结束时被通知,而不是实时查询。相对应的是,类似于Oracle这样的系统当运行于小数据集的时候,响应非常快,可当处理的数据集非常大的时候,可能需要数小时。需要说明的是,hive即使在很小的数据集上运行,也可能需要数分钟才能完成。
低延迟不是hive追求的首要目标。
全部回答
- 1楼网友:星星坠落
- 2022-01-01 01:26
hive是什么
1)hive 是建立在hadoop (hdfs/mr)上的用于管理和查询结果化/非结构化的数据仓库;
2)一种可以存储、查询和分析存储在hadoop 中的大规模数据的机制;
3)hive 定义了简单的类sql 查询语言,称为hql,它允许熟悉sql 的用户查询数据;
4)允许用java开发自定义的函数udf来处理内置无法完成的复杂的分析工作;
5)hive没有专门的数据格式(分隔符等可以自己灵活的设定);
etl的流程(extraction-transformate-loading):将关系型数据库的数据抽取到hdfs上,hive作为数据仓库,经过hive的计算分析后,将结果再导入到关系型数据库的过程。
hive是构建在hadoop之上的数据仓库
1)使用hql作为查询接口;
2)使用hdfs作为存储;
3)使用mapreduce作为计算;
hive应用场景
数据源:
1)文件数据,如中国移动某设备每天产生大量固定格式的文件;
2)数据库
以上两种不同的数据源有个共同点:要使用hive,那么必须要将数据放到hive中;通常采用如下两种方式:
1)文件数据:load到hive
2)数据库: sqoop到hive
数据的离线处理;
hive的执行延迟比较高,因为hive常用于数据分析的,对实时性要求不高;
hive优势在于处理大数据,对于处理小数据没有优势,因为hive的执行延迟比较高。
处理数据存放在hive表中,那么前台系统怎么去访问hive的数据呢?
先将hive的处理结果数据转移到关系型数据库中才可以,sqoop就是执行导入导出的操作
我要举报
如以上问答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
推荐资讯