5.2 数据工程
5.2.1 数据建模
数据建模是对现实世界中具体的人、物、活动和概念进行抽象、表示和处理,变成计算机可处理的数据。
数据模型:概念模型、逻辑模型、物理模型
数据建模4步:
数据需求分析
概念模型设计
逻辑模型设计
物理模型设计
5.2.2 数据标准化
元数据标准化:元数据是关于数据的数据,提供关于信息资源或数据的结构化数据
数据元标准化:数据元是数据库、⽂件和数据交换的基本数据单元。数据元由三部分组成:对象、特性、表示。表示包括值域、数据类型、表示类(可选的)和计量单位四部分。
数据模式标准化:数据模式反映的是人类对客观世界的主观认知,数据模式的描述方式主要有图描述方法和数据字典方法。
数据分类与编码标准化:数据分类与编码标准化是简化信息交换、实现信息处理和信息资源共享的重要前提。
数据标准化管理:过程包括确定数据需求、制定数据标准、批准数据标准和实施数据标准四个阶段。
5.2.3 数据运维
存储管理:
资源调度管理
存储资源管理
负载均衡管理
安全管理
数据备份结构:
DAS备份结构
基于 LAN的备份结构
LAN-FREE备份结构
SERVER-FREE备份结构
备份策略:
完全备份
差分备份
增量备份
容灾系统:
应⽤容灾:确保在任何情况下得到正确的服务。
数据容灾:关注保证用户数据的高可用性。数据容灾是应用容灾的一个子集,也是它的基础。
容灾系统衡量指标:
RPO(Recovery Point Object)代表当灾难发生时允许丢失的数据量
RTO (Recovery Time Object)代表系统恢复时间
数据质量评价⽅法:
直接评价法:通过将数据与内部或外部的参照信息,如理论值等进行对比,确定数据质量
间接评价法:利用数据相关信息,如数据只对数据源、采集方法等的描述推断或评估数据质量
数据质量控制:
前期控制
过程控制
系统检测
精度评价
数据清理步骤:
数据分析
数据检测
数据修正
5.2.4 数据开发利⽤
数据挖掘与传统数据分析的区别:
数据量
分析⽅法
分析侧重
成熟度
数据挖掘流程:
确定分析对象
数据准备
数据挖掘
结果评估
结果应用
数据服务:
数据⽬录服务
数据查询与浏览及下载服务
数据分发服务
数据可视化七类:
⼀维数据可视化
⼆维数据可视化
三维数据可视化
多维数据可视化
时态数据可视化
层次数据可视化
⽹络数据可视化
信息检索的主要方法:
全文检索
字段检索
基于内容的多媒体检索
数据挖掘
信息检索常用技术:
布尔逻辑检索技术
截词检索技术
临近检索技术
限定字段检索技术
限制检索技术
5.2.5 数据库安全
数据库安全是指保护数据库,防止不合法的使用所造成的数据泄露、更改和破坏。
5.3 系统集成
5.3.1 集成基础
系统集成4个基本原则:
开放性:选择要遵循工业开放标准,关系到软件生命周期
结构化:复杂系统设计的最基本方法依然是结构化系统分析方法
先进性:目前先进性和未来先进性
主流化:应属于该产品发展的主流,可靠的技术支持、成熟的使用环境、良好的升级发展势头
5.3.2 ⽹络集成
⽹络集成体系框架:
①传输子系统。无线传输介质包括无线电波、微波、红外线等;有线传输介质包括双绞线、同轴电缆、光纤
②交换子系统。网络交换分为局域网交换技术、城域网交换技术和广域网交换技术
③安全子系统。网络安全关注内容:使用防火墙技术、数据加密技术和访问控制
④网管子系统。保证网络的良好运行
⑤服务器子系统。网络服务器可选用高配置微机、工作站、小型机、超级小型机和大型机等
⑥网络操作系统。网络操作系统的主要任务是调度和管理网络资源
⑦服务子系统。网络服务主要包括互联网服务、多媒体信息检素、信息点播、信息广播、远程计算和事务处理
5.3.3 数据集成
数据仓库技术是数据集成的关键。
数据集成4个层次:
基本数据集成:解决通用标识符问题需要 隔离 与 调和
多级视图集成:两级映射:局部数据库➡中间视图➡综合视图
模式集成:模式合并属于数据库设计问题
多粒度数据集成:理想的多粒度数据集成模式是自动逐步抽象
异构数据集成⽅法:
过程式⽅法
声明式⽅法
利⽤中间件集成
开放式数据库互联ODBC:在数据库系统之间存取数据的标准应⽤程序接⼝
基于XML的数据交换标准与基于JSON 的数据交换格式
5.3.4 软件集成
软件构件标准:

公共对象请求代理结构CORBA
COM、DCOM、COM+
.NET(微软)、J2EE(Java)
5.3.5 应⽤集成
应用集成或组织应用集成(EAI)是指将独立的软件应用连接起来实现协同工作。
应用集成不同于数据集成,数据集成是共享数据,并不存诸数据:应⽤集成是在功能层⾯将多个应⽤直接连接起来,帮助打造动态且具有⾼度适应性的应⽤和服务。
应⽤集成需要的数据存储空间和计算时间并不多,应⽤集成既可以部署在云端、本地、混合环境中
5.4 安全工程
5.4.1 ⼯程概述

5.4.2 安全系统
信息安全空间3个坐标轴:
X轴是“安全机制”
Y轴是“OSI ⽹络参考模型”
Z轴是“安全服务”

“安全空间”五⼤属性:
认证
权限
完整
加密
不可否认
安全服务:
对等实体认证服务
数据保密服务
数据完整性服务
数据源点认证服务
禁⽌否认服务
犯罪证据提供服务
安全技术(详见2.1.4):
加密
数字签名技术
防控控制
数据完整性
认证
数据挖掘
5.4.3 ⼯程基础
略
5.4.4 ⼯程体系架构
信息安全系统⼯程ISSE实施过程:
⼯程过程Engineering Process
⻛险过程Risk Rrocess
保证过程Assurance Process
有害事件构成:
威胁
脆弱性
影响
ISSE-CMM 体系结构二维:
“域”维Domain/安全过程域:汇聚了定义信息安全工程的所有实施活动。
“能力”维度Capability/公共特性:通用设施GP由被称为公共特性的逻辑域组成。