關于數據遷移的方法、步驟和心得
來源：程序員人生 發布時間：2014-12-08 09:10:29 閱讀次數：3563次
關于數據遷移的方法、步驟和心得
在項目中常常會遇到系統完全更換后的歷史數據遷移問題，以示對客戶歷史工作的尊重，何況很多數據仍有保存的必要。
那怎樣做歷史數據遷移呢？
系統分析：
1、分析原本的業務系統
精確到大致的系統功能模塊、大致的處理流程便可
2、分析現有的業務系統
精確到大致的系統功能模塊、大致的處理流程便可
3、分析二者自己的區分和差異
大致分析1下兩個業務系統之間的區分，有助于肯定工作量和工作進度
4、分析用戶對舊有數據的需求
分析對舊有數據的需求，才不至于盲目的全部性的進行遷移
5、分析用戶對舊有數據的處理規則
舊有數據的處理規則，1般分為以下幾類：
1、基礎數據，通常這1類容易遷移，數據格式簡單，但是會影響所有的相干業務數據，關注點為數據的主鍵和唯1鍵的方式。
2、純歷史數據的導入，僅供參考用的，這1類數據導入容易
2.1
純歷史數據
這1類數據處理起來會比較容易，1次性導入便可，后續采取增量數據導入。
2.2
流程性數據
這1類數據只有在記錄完全關閉后才能結束，需要進行增量導入和數據更新，同時還要進行相干查詢界面的開發，以保證舊有數據能夠在新系統中查詢的到。
3、新老系統表結構變化較大的歷史數據
這1類數據的工作量是最重的，就需要仔細去研究新老業務系統的數據結構了。
1、盡可能通過甲方單位來搜集齊全相干原系統的相干設計文檔，這1點對數據分析很有幫助，通過人的感覺和對數據的視察來分析畢竟不太靠譜。
2、在原系統上進行相干數據的視察，了解數據的變化和數據表數據的關系（對比較難以理解的相干字段很有幫助）
3、比較新老系統數據的差異，如果實在很不靠譜的話，建議按2.2去處理。
系統設計：
1、做完系統分析以后，對相干數據進行歸類，基礎數據、純歷史數據、變化較大的歷史數據
2、先從簡單的入手，給自己點信心
3、在excel表中進行相干表的數據字典對比，勾畫出對應字段、轉換邏輯、依賴關系、必要時在新系統表上做相應的冗余，等數據遷移終了后再清除。
關鍵點：
不同數據庫的字段類型的匹配問題，比如SQLServer的text，在oracle應當對應clob，但是寧愿轉換成幾個varchar2，從實現角度相對容易些。
關于主鍵的問題，1致的數據類型盡可能保持現有狀態，不1致的盡可能采取oracle的序列或sqlserver的identity
int，但是遷移終了后，要注意序列值的更新
系統實現：
1、PL/SQL或T-SQL，DTS、SSIS或PowerBuilder的管道作為數據遷移的方式
2、相干業務邏輯的遷移，與數據完全性和業務相干的存儲進程、觸發器、函數的改寫，乃至SQL的改寫
3、業務查詢頁面的編寫
后話：
1、數據遷移沒有特別或高級的方法
2、對業務數據的分析最為關鍵，需要不斷的嘗試在新系統上不斷的測試
3、數據遷移技術，主要通過SQL、存儲進程、乃至游標來實現，優先級也如上
還有1種數據遷移僅僅是數據庫的平遷或異構數據庫遷移
數據庫平遷，即為了性能擴大需要從1臺服務器遷移到另外1臺服務器上，用數據庫的導出導入或備份恢復工具處理便可，固然也要斟酌遷移后的1些序列字段的初始值。
異構數據遷移，即從1個數據庫平臺遷移到另外1個數據庫平臺，用ETL工具或SQL都可實現，不過要注意業務邏輯的遷移，即存儲進程、函數、觸發器之類的
生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈
------分隔線----------------------------
------分隔線----------------------------
