代立冬的数据之路

专注数据架构 外功修行,内功修神

[解决]java.io.IOException: Cannot obtain block length for LocatedBlock

Cannot obtain block length for LocatedBlock

2016-05-16 01:55:21

阅读数 8492

评论数 0

大数据安全规范

大数据的安全体系分为五个层次:周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理

2016-04-23 23:31:30

阅读数 7822

评论数 0

Ambari和ClouderaManager主要不同对比

Ambari和ClouderaManager主要的不同对比 打算对新建的hadoop集群使用管理工具,列了以下主要的不同点: 主要的不同点 apache Ambari ClouderaManager Express(免费版) 配置版本控制和历史记录 支持 不支持 二次开...

2017-02-28 11:29:32

阅读数 7723

评论数 0

YARN和MapReduce的内存设置参考

如何确定Yarn中容器Container,Mapreduce相关参数的内存设置,对于初始集群,由于不知道集群的类型(如CPU密集、IO密集还是网络密集)我们需要根据经验提供给我们一个参考配置值,来作为基础的配置。完成这一任务有两种方式,确定YARN和MapReduce的内存设置,我们可以使用HDP...

2016-03-21 23:11:50

阅读数 7342

评论数 1

[解决] User [dr.who] is not authorized to view the logs for application

User [dr.who] is not authorized to view the logs for application 原因 Resource Manager UI的默认用户dr.who权限不正确

2016-03-02 21:26:42

阅读数 6001

评论数 0

480000 millis timeout while waiting for channel to be ready for write异常处理

480000 millis timeout while waiting for channel to be ready for write

2015-06-09 23:14:00

阅读数 5404

评论数 0

优化Hadoop Balancer运行速度

  1. 修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers 2. 修改dfs.dat...

2016-05-17 15:13:30

阅读数 5109

评论数 0

Caused by: java.io.IOException: Filesystem closed的处理

org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.db/mac_wifi_day_data/tid...

2016-01-24 16:16:55

阅读数 4792

评论数 0

DataXceiver error processing unknown operation src: /127.0.0.1:36479 dst: /127.0.0.1:50010处理

异常信息如下:  2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.java:run(278)) - hadoop07:50010:DataXceiver error processing unknown operatio...

2015-12-17 18:06:25

阅读数 4721

评论数 0

Hadoop Yarn事件处理框架源码分析

由于想在项目中使用类似yarn的事件处理机制,就看了实现。主要是由Dispatcher.java,EventHandler.java,Service.java这3个类撑起来的。 在事件处理之前,先注册相应的事件处理handler,收到事件event后,由派发事件的Dispatcher进行派发,默认...

2016-06-21 21:54:46

阅读数 4586

评论数 0

File file:/data1/hadoop/yarn/local/usercache/hp/appcache/application_* does not exi

AM Container for appattempt_1453292851883_0381_000002 exited with exitCode: -1000 For more detailed output, check application tracking page:http://ha...

2016-01-24 16:21:53

阅读数 4390

评论数 0

大数据存储平台之异构存储实践

经常做数据处理的伙伴们肯定会有这样一种体会:最近一周内的数据会被经常使用到,而比如最近几周的数据使用率会有下降,每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑,存储的数据可能一个月才被访问几次。这就产生了一种热和冷数据,对需要频繁访问的数据我们称之为“热”数据,反之我们称之为”冷”数据,...

2018-03-13 10:28:11

阅读数 3850

评论数 0

python使用snappy压缩

今天在网上找了很久,终于找到1个snappy压缩命令行,记录下来:1.wget https://bootstrap.pypa.io/get-pip.py2.python ./get-pip.py 3.yum install gcc-c++4.pip install python-snappy用法...

2017-02-08 19:48:51

阅读数 3658

评论数 0

停止ambari上服务的顺序

Before performing any upgrades or uninstalling software, stop all of the Hadoop services in the following order: Ranger Knox Oozie WebHCat Hi...

2015-11-20 17:56:29

阅读数 3253

评论数 3

mapreduce出现大量task被KILLED_UNCLEAN的3个原因

Request received to kill task 'attempt_201411191723_2827635_r_000009_0' by user ------- Task has been KILLED_UNCLEAN by the user 1.An impatient use...

2015-08-12 17:11:18

阅读数 3200

评论数 0

修改ranger ui的admin用户登录密码踩坑小记

修改的ranger ui的admin用户登录密码时,需要在ranger的配置里把admin_password改成一样的,否则hdfs的namenode在使用admin时启动不起来,异常如下:Traceback (most recent call last): ambari_ranger_a...

2016-10-27 10:33:13

阅读数 3160

评论数 0

ambari server内存溢出

java.lang.OutOfMemoryError: PermGen space at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:...

2015-12-02 15:39:51

阅读数 2865

评论数 0

CentOS 64位上编译 Hadoop2.6.0

由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的,64位的机器加载本地库.so文件时会出错,所以需要重新编译 1.编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libto...

2015-03-26 15:14:57

阅读数 2586

评论数 0

hadoop更换硬盘

hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin    日志位置:/var/log/hadoop) 1.登陆服务器,切换到mapred用户,执行jps命令,查看是否有TaskTracker进程。如果有,执行hadoop-daemon.sh ...

2015-07-13 17:25:47

阅读数 2585

评论数 0

CentOS 6.4安装配置ldap

CentOS 6.5安装配置ldap 时间:2015-07-14 00:54来源:blog.51cto.com 作者:“ly36843运维” 博客 举报 点击:274次 一.安装ldap [root@dev ~]# yum install openldap openlda...

2015-11-19 01:10:20

阅读数 2415

评论数 0

提示
确定要删除当前文章?
取消 删除