讀大文件到mysql

起初使用java讀文件處理格式后存入數據庫，運行后發現，效力太低太低，4G文本，4000多萬行，估計需要30天左右才能完成處理。

數據格式：

每行->  XXXX ||| XXXXXXX ||| XXXXXXXXXXXXXXXXX

數據是嚴格結構化的，因此查詢到1種直接從文件導入mysql的方法：

Load Data infile

參考文章：http://hunan.iteye.com/blog/752606

使用的指令以下：

成功導入47943428 rows ！

導入后發現每行結尾還有 存在，下面消除 符號

update detail_all set value = trim(TRAILING ' ' FROM `value`);

用trim消除開頭和最后的符號。參考：http://nameyjj.blog.51cto.com/788669/621932

運行時報錯：

即把超時的時間調大便可。

隨后運行報錯：

我這里是回滾進程沒有結束，等待其結束便可。

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈