数据之路

原创 hive连接数

使用hive分析日志作业很多的时候，需要修改mysql的默认连接数修改方法   打开/etc/my.cnf文件在[mysqld]  中添加 max_connections=1000重启mysql服务  service mysqld restartmysql>show variables like '%max_connections%';查

原创 mysql修改表、字段、库的字符集

mysql修改表、字段、库的字符集02 五月 2011 | 数据库 | Tags: charset, mysql,字符集修改数据库字符集：ALTER DATABASE db_name DEFAULT CHARACTER SET character_name [COLLATE ...];把表默认的字符集和所有字符列（CHAR

原创 mysql 存在update不存在insert

如果在INSERT语句末尾指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则在出现重复值的行执行UPDATE；如果不会导致唯一值列重复的问题，则插入新行。例如，如果列 a 为 主键 或 拥有UNIQUE索引，并且包含值1，则以下两个语句具有相同的效果：INSERT INTO test(a,c

转载 Linux下清理内存和Cache方法

频繁的文件访问会导致系统的Cache使用量大增　　$ free -m　　total used free shared buffers cached　　Mem: 3955 3926 28 0 55 3459　　-/+ buffers/cache: 411 3544　　Swap: 5726 0 5726　　free内存减少到几十兆，系统运行缓慢　　运行sync将di

转载 高效工作指南

Facebook 内部分享：不论你如何富有，你都赚不到更多的时间，你也回不到过去。没有那么多的假如，只有指针滴答的时光飞逝和你应该好好把握的现在，以下25张PPT的分享将为您带来时间价值管理的技巧。1、时间常有，时间优先2、时间总会有的：每天只计划 4～5 小时真正的工作3、当你在状态时，就多干点；不然就好好休息：有时候会连着几天不是工作状态，有

转载 java中byte转换int时为何与0xff进行与运算

本文总结了java中byte转换int时总是与0xff进行与运算的原因。在剖析该问题前请看如下代码：public static String bytes2HexString(byte[] b) { String ret = ""; for (int i = 0; i  String hex = Integer.toHexString(b[ i ] & 0xFF);

转载 DSP投放进阶指南

原创 cloudera manager配置

cloudera manager的数据库配置文件位置：    /etc/cloudera-scm-server/db.properties

原创 cloudera manager 5.3完整卸载脚本

service cloudera-scm-agent stopservice cloudera-scm-agent stopumount /var/run/cloudera-scm-agent/processumount /var/run/cloudera-scm-agent/processumount /var/run/cloudera-scm-agent/process

原创 异常message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore

NoSuchObjectException(message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore_df61080e04cd7eb36c4336f71b5a8bc4) at org.apache.hadoop.hive.metastore.ObjectStore

原创 Connection reset by peer的常见原因

Connection reset by peer的常见原因： 1）服务器的并发连接数超过了其承载量，服务器会将其中一些连接关闭；   如果知道实际连接服务器的并发客户数没有超过服务器的承载量，则有可能是中了病毒或者木马，引起网络流量异常。可以使用netstat -an查看网络连接情况。 2）客户关掉了浏览器，而服务器还在给客户端发送数据；3）浏览器端按了Stop；    这两种

转载 JVM致命错误日志(hs_err_pid.log)分析

JVM致命错误日志(hs_err_pid.log)分析发表于5天前(2015-08-28 17:10)   目录[-]日志头文件导致crash的线程信息所有线程信息安全点和锁信息堆信息本地代码缓存编译事件gc相关记录jvm内存映射jvm启动参数服务器信息当jvm出现致命错误时，会生成一个错误文件 hs_err_pid.log，其中包括了导致jvm crash的重