代立冬的数据之路

专注数据架构 外功修行,内功修神

排序:
默认
按更新时间
按访问量
RSS订阅

journalnode Can't scan a pre-transactional edit log异常处理

一个测试环境hadoop集群由于磁盘满导致宕机,启动后发现journalnode报如下异常:2018-03-19 20:48:04,817 WARN  namenode.FSImage (EditLogFileInputStream.java:scanEditLog(359)) - Caught ...

2018-03-20 17:03:58

阅读数 1214

评论数 0

Log Aggregation Status TIME_OUT的缘起

在spark on yarn运行中,有时会发现spark程序运行完毕后,spark的运行界面没有信息,或者找不到相关的运行信息了,经仔细查看NodeManager UI,出现如下信息:Log Aggregation Status TIME_OUT原来NodeManager可以在应用结束后将日志安全...

2017-12-09 21:32:19

阅读数 722

评论数 0

dfs.datanode.du.reserved 预留空间不生效的问题

dfs.datanode.du.reserved 预留空间不生效的问题

2017-04-08 09:46:06

阅读数 1474

评论数 0

修改ranger ui的admin用户登录密码踩坑小记

修改的ranger ui的admin用户登录密码时,需要在ranger的配置里把admin_password改成一样的,否则hdfs的namenode在使用admin时启动不起来,异常如下:Traceback (most recent call last): ambari_ranger_a...

2016-10-27 10:33:13

阅读数 3160

评论数 0

[解决]java.io.IOException: Cannot obtain block length for LocatedBlock

Cannot obtain block length for LocatedBlock

2016-05-16 01:55:21

阅读数 8492

评论数 0

DataXceiver error processing unknown operation src: /127.0.0.1:36479 dst: /127.0.0.1:50010处理

异常信息如下:  2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.java:run(278)) - hadoop07:50010:DataXceiver error processing unknown operatio...

2015-12-17 18:06:25

阅读数 4721

评论数 0

ambari server内存溢出

java.lang.OutOfMemoryError: PermGen space at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:...

2015-12-02 15:39:51

阅读数 2865

评论数 0

namenode磁盘满引发recover edits文件报错

前段时间公司hadoop集群宕机,发现是namenode磁盘满了, 清理出部分空间后,重启集群时,重启失败。 又发现集群Secondary namenode 服务也恰恰坏掉,导致所有的操作log持续写入edits.new 文件,等集群宕机的时候文件大小已经达到了丧心病狂的70G+..重启集群报错...

2015-01-31 23:21:35

阅读数 1842

评论数 0

missing blocks错误

Datanode的日志中看到: 10/12/14 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException...

2015-06-09 23:07:50

阅读数 792

评论数 0

480000 millis timeout while waiting for channel to be ready for write异常处理

480000 millis timeout while waiting for channel to be ready for write

2015-06-09 23:14:00

阅读数 5404

评论数 0

org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block

Hbase依赖的datanode日志中如果出现如下报错信息:DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for b...

2015-06-09 23:20:06

阅读数 1792

评论数 0

Error in deleting blocks.

2014-08-24 22:15:21,714 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Error processing datanode Command java.io.IOException: Error in deletin...

2015-06-09 23:23:00

阅读数 1074

评论数 0

mapreduce出现大量task被KILLED_UNCLEAN的3个原因

Request received to kill task 'attempt_201411191723_2827635_r_000009_0' by user ------- Task has been KILLED_UNCLEAN by the user 1.An impatient use...

2015-08-12 17:11:18

阅读数 3200

评论数 0

Caused by: java.io.IOException: Filesystem closed的处理

org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.db/mac_wifi_day_data/tid...

2016-01-24 16:16:55

阅读数 4792

评论数 0

File file:/data1/hadoop/yarn/local/usercache/hp/appcache/application_* does not exi

AM Container for appattempt_1453292851883_0381_000002 exited with exitCode: -1000 For more detailed output, check application tracking page:http://ha...

2016-01-24 16:21:53

阅读数 4390

评论数 0

[解决] User [dr.who] is not authorized to view the logs for application

User [dr.who] is not authorized to view the logs for application 原因 Resource Manager UI的默认用户dr.who权限不正确

2016-03-02 21:26:42

阅读数 6001

评论数 0

提示
确定要删除当前文章?
取消 删除