原创

mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://lidong.blog.csdn.net/article/details/75197876

mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)

首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下,并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误



1.${table_name}换myisam,我们的场景对事务没啥要求,innodb引擎速度太慢了,原来导入12个小时都没导完


2.导入前修改参数和禁止索引更新
mysql> SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;
mysql> SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;


mysql> set global KEY_BUFFER_SIZE=256217728;
mysql> alter table ${table_name} disable keys; 


mysql> LOAD DATA INFILE "top5000W.txt" INTO TABLE ${table_name} FIELDS TERMINATED BY ',' LINES TERMINATED BY  '\n' (id,day,app_ids,id_1,id_2,id_3,combine_rate,active_nums,id_size)


3.导入后
mysql> ALTER TABLE ${table_name} ENABLE KEYS; 


耗时统计:
LOAD DATA INFILE... 这步耗时8分钟左右
ALTER TABLE... 这步耗时12分钟左右



文章最后发布于: 2017-07-16 11:38:53
展开阅读全文
0 个人打赏

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 酷酷鲨 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览