开源分布式工作流任务调度系统 - Easy Scheduler

专注数据架构 外功修行,内功修神

Hive实现分组排序或者分页

使用到的语法:ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)简单的说row_number()从1开始,为每一条分组记录返回一个数字,这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序,再...

2018-03-27 23:24:42

阅读数 2233

评论数 0

Hive性能优化(全面)

Hive性能优化(全面)2018-02-02 Hadoop大数据应用1.介绍首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。...

2018-02-05 12:06:05

阅读数 614

评论数 0

最新Hive函数

LanguageManual UDF

2017-11-23 18:35:55

阅读数 899

评论数 0

[解决] HiveServer2中使用jdbc访问hbase时导致ZooKeeper连接持续增加的解决

最近在监控中发现HiveServer2连接到zookeeper里的连接持续上涨,很奇怪,虽然知道HiveServer2支持并发连接,使用ZooKeeper来管理Hive表的读写锁,但我们的环境并不需要这些,我们已经关闭并发功能,以下是线上的配置,甚至把这些值都改成final了。 但是zoo...

2016-02-23 15:55:26

阅读数 6138

评论数 1

How to configue session timeout in Hive

This article explains how to configure the following settings in Hive: hive.server2.session.check.interval hive.server2.idle.operation.timeout hive...

2016-01-12 23:27:31

阅读数 2065

评论数 1

hive executeTask被interrupt处理

java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: "hadoop008/192.168.2...

2015-12-20 11:22:56

阅读数 1715

评论数 3

hive Illegal Operation state transition from CLOSED to ERROR的处理

异常堆栈如下: 2015-11-24 16:49:11,495 ERROR org.apache.hive.service.cli.operation.Operation: Error running hive query: org.apache.hive.service.cli.HiveSQLE...

2015-11-24 19:05:39

阅读数 1845

评论数 0

hive 动态分区(Dynamic Partition)异常处理

Changing Hive Dynamic Partition Limits Symptoms: Hive enforces limits on the number of dynamic partitions that it creates.  The default is 100 dyna...

2015-11-17 10:50:40

阅读数 5890

评论数 0

hive对有特殊值null的数据倾斜处理

hive对有特殊值null的数据倾斜处理

2015-10-09 14:23:43

阅读数 1886

评论数 0

hive连接数

使用hive分析日志作业很多的时候,需要修改mysql的默认连接数 修改方法   打开/etc/my.cnf文件 在[mysqld]  中添加 max_connections=1000 重启mysql服务  service mysqld restart mysql>show ...

2015-09-26 23:01:11

阅读数 4348

评论数 0

异常message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore

NoSuchObjectException(message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore_df61080e04cd7eb36c4336f71b5a8bc...

2015-09-17 10:58:13

阅读数 3143

评论数 0

Out of memory due to hash maps used in map-side aggregation解决办法

在运行一个group by的sql时,抛出以下错误信息: Task with the most failures(4):  ----- Task ID:   task_201411191723_723592_m_000004 URL:   http://DDS0204.dratio:50030...

2015-01-28 16:13:57

阅读数 1406

评论数 0

提示
确定要删除当前文章?
取消 删除