在項目中經常會遇到系統完全更換后的歷史數據遷移問題,以示對客戶歷史工作的尊重,何況很多數據仍有保留的必要。
那怎么做歷史數據遷移呢?
## **系統分析:**
### 1、分析原有的業務系統
精確到大致的系統功能模塊、大致的處理流程即可
### 2、分析現有的業務系統
精確到大致的系統功能模塊、大致的處理流程即可
### 3、分析兩者自己的區別和差異
大致分析一下兩個業務系統之間的區別,有助于確定工作量和工作進度
### 4、分析用戶對舊有數據的需求
分析對舊有數據的需求,才不至于盲目的全部性的進行遷移
### 5、分析用戶對舊有數據的處理規則
**舊有數據的處理規則,一般分為以下幾類:**
1、基礎數據,通常這一類容易遷移,數據格式簡單,但是會影響所有的相關業務數據,關注點為數據的主鍵和唯一鍵的方式。
2、純歷史數據的導入,僅供參考用的,這一類數據導入容易
2.1 純歷史數據
這一類數據處理起來會比較容易,一次性導入即可,后續采用增量數據導入。
2.2 流程性數據
這一類數據只有在記錄完全關閉后才能結束,需要進行增量導入和數據更新,同時還要進行相關查詢界面的開發,以保證舊有數據能夠在新系統中查詢的到。
3、新老系統表結構變化較大的歷史數據
這一類數據的工作量是最重的,就需要仔細去研究新老業務系統的數據結構了。
1、盡量通過甲方單位來收集齊全相關原系統的相關設計文檔,這一點對數據分析很有幫助,通過人的感覺和對數據的觀察來分析畢竟不太靠譜。
2、在原系統上進行相關數據的觀察,了解數據的變化和數據表數據的關系(對于比較難以理解的相關字段很有幫助)
3、比較新老系統數據的差異,如果實在很不靠譜的話,建議按2.2去處理。
**系統設計:**
1、做完系統分析之后,對相關數據進行歸類,基礎數據、純歷史數據、變化較大的歷史數據
2、先從簡單的入手,給自己點信心
3、在excel表中進行相關表的數據字典對照,勾畫出對應字段、轉換邏輯、依賴關系、必要時在新系統表上做相應的冗余,等數據遷移完畢后再清除。
關鍵點:
不同數據庫的字段類型的匹配問題,比如SQLServer的text,在Oracle應該對應clob,但是寧愿轉換成幾個varchar2,從實現角度相對容易些。
關于主鍵的問題,一致的數據類型盡量維持現有狀態,不一致的盡量采用oracle的序列或sqlserver的identity int,但是遷移完畢后,要注意序列值的更新
**系統實現:**
1、PL/SQL或T-SQL,DTS、SSIS或者PowerBuilder的管道作為數據遷移的方式
2、相關業務邏輯的遷移,與數據完整性和業務相關的存儲過程、觸發器、函數的改寫,甚至SQL的改寫
3、業務查詢頁面的編寫
**后話:**
1、數據遷移沒有特別或高級的方法
2、對業務數據的分析最為關鍵,需要不斷的嘗試在新系統上不斷的測試
3、數據遷移技術,主要通過SQL、存儲過程、甚至游標來實現,優先級也如上
還有一種數據遷移僅僅是數據庫的平遷或異構數據庫遷移:
數據庫平遷,即為了性能擴展需要從一臺服務器遷移到另外一臺服務器上,用數據庫的導出導入或備份恢復工具處理即可,當然也要考慮遷移后的一些序列字段的初始值。
異構數據遷移,即從一個數據庫平臺遷移到另外一個數據庫平臺,用ETL工具或SQL均可實現,不過要注意業務邏輯的遷移,即存儲過程、函數、觸發器之類的
- 前言
- 讀者須知
- 第一章 Linux
- HTTP
- 簡介
- 狀態碼
- 特點
- URL
- Request
- Response
- 請求方式
- 工作原理
- 生命周期
- GET和POST區別
- 組成
- 端口
- 命令
- 常用命令
- chmod命令詳解
- ubuntu apt-get命令
- 用戶和用戶組
- Nginx
- 四個基本功能
- 進程
- 進程管理[ps命令]
- 進程管理[top命令]
- 進程管理[kill命令]
- 進程管理[進程優先級]
- 進程管理[netstat命令]
- 定時任務
- crontab
- 實現每秒執行
- >/dev/null 2>&1說明
- 文件管理
- 工作管理
- 資源管理
- 第二章 NGINX
- 介紹
- 入門
- 特性
- 安裝啟動
- 基礎必會
- 常用功能
- 反向代理
- 負載均衡
- 正向代理
- HTTP服務器
- 動靜分離
- 技能點匯總
- 顯示亂碼
- 打開目錄瀏覽功能
- 錯誤碼原因和解決方案
- location用法
- 常用正則
- rewrite
- 全局變量
- if語句塊
- https
- php后端處理(fast-cgi)
- flag標志位
- 過期功能
- gzip壓縮
- 會話保持時間
- 配置nginx worker進程最大打開文件數
- sendfile
- 單個工作進程的最大連接數
- 選擇事件驅動模型
- 隱藏ngxin版本號
- 網絡連接的優化
- 緩存原理及機制
- 限流
- 日志配置
- 灰度發布
- 配置一鍵生成
- 第三章 MySQL
- 入門
- 簡介
- 術語
- 特點
- 三范式
- 8.0 新特性
- 數據類型
- 數據類型詳解
- 常用函數
- 命令速查
- MyISAM與InnoDB區別
- 服務器構成
- 事務
- 本質
- 特性
- 分類
- 隔離級別
- PHP中使用事務實例
- MVCC
- 問題和解決
- 調優原則
- 分布式事務
- 索引
- 簡介
- 索引的分類
- 創建索引
- 刪除索引
- 哈希索引
- btree索引和hash索引的區別
- 單列索引和多列索引
- 索引優化
- 查看SQL語句對索引的使用情況
- 鎖
- 技能點
- 開發規范
- 導入導出數據庫
- blob和text的區別
- char與varchar類型區別
- SQL查詢語句優化
- 事務隔離和鎖操作需要在語言級別來做嗎
- 58到家數據庫30條軍規解讀
- 數據遷移
- SKU數據庫設計
- RBAC數據庫設計
- 第四章 Redis
- 入門
- 簡介
- 應用場景
- 安裝啟動
- 生命周期
- 事務
- 配置項
- 緩存
- 數據持久化
- 安全
- 數據類型
- string
- hash
- list
- set
- zset
- php代碼實戰
- 字符串緩存實戰
- 隊列實戰
- 發布訂閱實戰
- 計數器實戰
- 排行榜實戰
- 字符串悲觀鎖實戰
- 事務的樂觀鎖實戰
- 高級應用
- 分片機制
- 主從復制
- 緩存問題
- 解決 Redis 并發競爭 Key 問題
- 淘汰策略
- 第五章 PHP
- composer
- 什么是composer
- composer常用概念解析
- 使用composer的正確姿勢
- 消息隊列
- 為何使用消息隊列
- Beanstalkd
- PSR規范
- PSR-0
- PSR-1
- PSR-2
- PSR-3
- PSR-4
- OOP基礎
- 面向對象概念
- 類和對象
- 類
- 操作對象成員
- this使用
- 構造方法和析構方法
- 封裝
- __set(),__get(),__isset(),__unset()四個方法的應用
- 繼承
- 重載新的方法(parent::)
- 訪問類型(public,protected,private)
- final關鍵字的應用
- static和const關鍵字的使用(self::)
- static關鍵字
- __toString()方法
- 克隆對象__clone()方法
- __call()處理調用錯誤
- 抽象方法和抽象類(abstract)
- 接口(interface)
- 多態
- 把對象串行化serialize()方法,__sleep()方法,__wakeup()方法
- 自動加載類 __autoload()函數
- OOP進階
- 語法糖
- 異常處理
- 后期靜態綁定
- 后期靜態綁定在框架的運用
- 代碼優化思路
- Closure(閉包)
- 巧用PHP內置方法
- 數組操作的奇技淫巧
- 設計模式
- 單例模式(Singleton Pattern)
- 工廠模式(Factor Pattern)
- 建造者模式(Builder Pattern)
- 原型模式(Prototype Pattern)
- 適配器模式(Adapter Pattern)
- 裝飾器模式(Decorator Pattern)
- 代理模式(Proxy Pattern)
- 外觀模式(Facade Pattern)
- 橋接模式(Bridge Pattern)
- 組合模式(Composite Pattern)
- 享元模式 (Flyweight Pattern)
- 策略模式 ( Strategy Pattern )
- 模板模式 (Template Pattern)
- 觀察者模式 (observer Pattern)
- 迭代模式(Iterator Pattern)
- 責任鏈模式(Chain of Responsibility Pattern)
- 命令模式 (Command Pattern)
- 備忘錄模式(Memento Pattern)
- 狀態模式 (State Pattern)
- 訪問者模式(Visitor Pattern)
- 中介者模式(Mediator Pattern)
- 解釋器模式(Interpreter Pattern)
- 數據映射模式(Data Mapper Pattern)
- 注冊樹模式(Registry Pattern)
- 空對象模式(Null Object Pattern)
- 搜索引擎
- Elasticsearch
- 安裝
- 入門
- 實踐
- 集群
- 查詢
- API
- 接口調用
- cURL
- Guzzle
- RPC
- yar
- session
- 概念
- 客戶端實現形式
- cookie與session的區別
- Cookies的安全性
- JWT
- 組成
- 入門
- 應用
- 知識點
- 常見
- $_SERVER
- php的引用
- 第六章 技術棧擴展
- 使用第三方靜態資源服務
- 七牛對象存儲實戰
- 七牛對象存儲之客戶端上傳
- aliyunOSS服務端文件上傳
- aliyunOSS客戶端文件上傳
- 第三方支付
- 微信支付
- 支付寶支付
- SEO排名影響因素
- PHP架構師之路
- CTO職能
- web宏觀分析
- 常見的企業軟件系統
- 負載的優化思路
- 從容應對負載并發的前期準備
- 第七章 網絡安全
- XSS
- CSRF
- DDoS
- SQL注入
- 停用js
- 文件上傳
- 點擊劫持
- APT
- 會話劫持
- 第八章 運維
- devops
- devops簡介
- 常用工具
- 搭建運行環境
- Centos7 lnmp環境搭建
- ubuntu lnmp環境搭建
- Apache多站點配置
- docker
- 輕松使用和理解docker
- lnamp產品級環境搭建
- lnamp產品級環境搭建【第二版】
- 基于 Docker 容器的沙盒化評測系統
- vagrant
- vagrant入門
- vagrant之Vagrantfile
- vagrant之集成jenkins
- homestead
- gitlab
- gitlab簡介
- webhook
- ssh堡壘機
- 第九章 測試
- 壓力測試
- 單元測試
- 第十章 團隊協作
- 軟件開發模式
- 邊做邊改模型
- 瀑布模型
- 迭代模型
- 快速原型模型
- 增量模型
- 螺旋模型
- 敏捷軟件開發
- 演化模型
- 噴泉模型
- 智能模型
- 混合模型
- 模型對比
- TDD
- git
- git_入門
- git_使用
- git_進階
- git workflow
- git_高級
- git_小技巧
- okr工作法
- API接口文檔管理系統
- 敏捷協作工具
- 第十一章 技術燈塔
- github項目
- 社區好貨
- 紙質書
- 第十二章 代碼之外
- 面試官的角度看面試
- 程序員的壯年思考