博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hive local hadoop特性
阅读量:5939 次
发布时间:2019-06-19

本文共 453 字,大约阅读时间需要 1 分钟。

在hive0.7的版本中增加了local hadoop的功能,就是在处理数据量比较小的情况在本地执行,而不走分布的mapred。

这样一来,那些比较小的任务的执行速度就会大大提高。

那到底什么样的任务会采用local hadoop呢,是由hive的一个参数控制的。

hive.exec.mode.local.auto.inputbytes.max

当处理的数据量比这个参数值小的情况下就会采用local hadoop的方式来执行。

如果想要屏蔽掉local hadoop的功能,只需要把这个参数设置为-1即可。

hive.exec.mode.local.auto.inputbytes.max
-1

转自 http://www.oratea.net/?p=703

转载于:https://www.cnblogs.com/ggjucheng/archive/2013/01/03/2843216.html

你可能感兴趣的文章
eventEmitter3源码分析与学习
查看>>
Javascript之事件(一)
查看>>
如何用两种方式同时实现ListBox的滚动功能
查看>>
[Leetcode] Merge Sorted Array 合并数组
查看>>
ID vs Class 老生常谈的选择器问题
查看>>
[Android] Handler源码解析 (Java层)
查看>>
SpringBoot实用小技巧之动态设置SpringBoot日志级别
查看>>
Python 操作数据库(1)
查看>>
「镁客·请讲」天宝陈朝晖:AI 的准确译法不是人工智能,而是机器智能 ...
查看>>
DOM渲染的详细过程
查看>>
技术剖析 | Axonius为什么能获得 2019 RSAC创新大奖
查看>>
「镁客·请讲」嘿蘑法王亮:用VR给青年艺术家创造更多机会 ...
查看>>
加拿大高等研究院宣布新的科研计划,Bengio、LeCun 任 AI 项目负责人 ...
查看>>
关于缓存命中率的几个关键问题!
查看>>
java的日历类
查看>>
mybatis 思维导图,让 mybatis 不再难懂(二)
查看>>
搭建百度unit2.0测试代码(Java)
查看>>
DOS常用命令详解
查看>>
监控haproxy的脚本
查看>>
单用户模式迁移home家目录
查看>>