5.2 數據工程
5.2.1 數據建模
數據建模是對現實世界中具體的人、物、活動和概念進行抽象、表示和處理,變成計算機可處理的數據。
數據模型:概念模型、邏輯模型、物理模型
數據建模4步:
數據需求分析
概念模型設計
邏輯模型設計
物理模型設計
5.2.2 數據標準化
元數據標準化:元數據是關於數據的數據,提供關於信息資源或數據的結構化數據
數據元標準化:數據元是數據庫、⽂件和數據交換的基本數據單元。數據元由三部分組成:對象、特性、表示。表示包括值域、數據類型、表示類(可選的)和計量單位四部分。
數據模式標準化:數據模式反映的是人類對客觀世界的主觀認知,數據模式的描述方式主要有圖描述方法和數據字典方法。
數據分類與編碼標準化:數據分類與編碼標準化是簡化信息交換、實現信息處理和信息資源共享的重要前提。
數據標準化管理:過程包括確定數據需求、制定數據標準、批准數據標準和實施數據標準四個階段。
5.2.3 數據運維
存儲管理:
資源調度管理
存儲資源管理
負載均衡管理
安全管理
數據備份結構:
DAS備份結構
基於 LAN的備份結構
LAN-FREE備份結構
SERVER-FREE備份結構
備份策略:
完全備份
差分備份
增量備份
容災系統:
應⽤容災:確保在任何情況下得到正確的服務。
數據容災:關注保證用戶數據的高可用性。數據容災是應用容災的一個子集,也是它的基礎。
容災系統衡量指標:
RPO(Recovery Point Object)代表當災難發生時允許丟失的數據量
RTO (Recovery Time Object)代表系統恢復時間
數據質量評價⽅法:
直接評價法:通過將數據與內部或外部的參照信息,如理論值等進行對比,確定數據質量
間接評價法:利用數據相關信息,如數據只對數據源、採集方法等的描述推斷或評估數據質量
數據質量控制:
前期控制
過程控制
系統檢測
精度評價
數據清理步驟:
數據分析
數據檢測
數據修正
5.2.4 數據開發利⽤
數據挖掘與傳統數據分析的區別:
數據量
分析⽅法
分析側重
成熟度
數據挖掘流程:
確定分析對象
數據準備
數據挖掘
結果評估
結果應用
數據服務:
數據⽬錄服務
數據查詢與瀏覽及下載服務
數據分發服務
數據可視化七類:
⼀維數據可視化
⼆維數據可視化
三維數據可視化
多維數據可視化
時態數據可視化
層次數據可視化
⽹絡數據可視化
信息檢索的主要方法:
全文檢索
字段檢索
基於內容的多媒體檢索
數據挖掘
信息檢索常用技術:
布爾邏輯檢索技術
截詞檢索技術
臨近檢索技術
限定字段檢索技術
限制檢索技術
5.2.5 數據庫安全
數據庫安全是指保護數據庫,防止不合法的使用所造成的數據洩露、更改和破壞。
5.3 系統集成
5.3.1 集成基礎
系統集成4個基本原則:
開放性:選擇要遵循工業開放標準,關係到軟件生命週期
結構化:複雜系統設計的最基本方法依然是結構化系統分析方法
先進性:目前先進性和未來先進性
主流化:應屬於該產品發展的主流,可靠的技術支持、成熟的使用環境、良好的升級發展勢頭
5.3.2 ⽹絡集成
⽹絡集成體系框架:
①傳輸子系統。無線傳輸介質包括無線電波、微波、紅外線等;有線傳輸介質包括雙絞線、同軸電纜、光纖
②交換子系統。網絡交換分為局域網交換技術、城域網交換技術和廣域網交換技術
③安全子系統。網絡安全關注內容:使用防火牆技術、數據加密技術和訪問控制
④網管子系統。保證網絡的良好運行
⑤服務器子系統。網絡服務器可選用高配置微機、工作站、小型機、超級小型機和大型機等
⑥網絡操作系統。網絡操作系統的主要任務是調度和管理網絡資源
⑦服務子系統。網絡服務主要包括互聯網服務、多媒體信息檢素、信息點播、信息廣播、遠程計算和事務處理
5.3.3 數據集成
數據倉庫技術是數據集成的關鍵。
數據集成4個層次:
基本數據集成:解決通用標識符問題需要 隔離 與 調和
多級視圖集成:兩級映射:局部數據庫➡中間視圖➡綜合視圖
模式集成:模式合併屬於數據庫設計問題
多粒度數據集成:理想的多粒度數據集成模式是自動逐步抽象
異構數據集成⽅法:
過程式⽅法
聲明式⽅法
利⽤中間件集成
開放式數據庫互聯ODBC:在數據庫系統之間存取數據的標準應⽤程序接⼝
基於XML的數據交換標準與基於JSON 的數據交換格式
5.3.4 軟件集成
軟件構件標準:

公共對象請求代理結構CORBA
COM、DCOM、COM+
.NET(微軟)、J2EE(Java)
5.3.5 應⽤集成
應用集成或組織應用集成(EAI)是指將獨立的軟件應用連接起來實現協同工作。
應用集成不同於數據集成,數據集成是共享數據,並不存諸數據:應⽤集成是在功能層⾯將多個應⽤直接連接起來,幫助打造動態且具有⾼度適應性的應⽤和服務。
應⽤集成需要的數據存儲空間和計算時間並不多,應⽤集成既可以部署在雲端、本地、混合環境中
5.4 安全工程
5.4.1 ⼯程概述

5.4.2 安全系統
信息安全空間3個座標軸:
X軸是“安全機制”
Y軸是“OSI ⽹絡參考模型”
Z軸是“安全服務”

“安全空間”五⼤屬性:
認證
權限
完整
加密
不可否認
安全服務:
對等實體認證服務
數據保密服務
數據完整性服務
數據源點認證服務
禁⽌否認服務
犯罪證據提供服務
安全技術(詳見2.1.4):
加密
數字簽名技術
防控控制
數據完整性
認證
數據挖掘
5.4.3 ⼯程基礎
略
5.4.4 ⼯程體系架構
信息安全系統⼯程ISSE實施過程:
⼯程過程Engineering Process
⻛險過程Risk Rrocess
保證過程Assurance Process
有害事件構成:
威脅
脆弱性
影響
ISSE-CMM 體系結構二維:
“域”維Domain/安全過程域:匯聚了定義信息安全工程的所有實施活動。
“能力”維度Capability/公共特性:通用設施GP由被稱為公共特性的邏輯域組成。