大数据计算技术

第一章：大数据计算技术概述

1.1 课程简介

1.2 大数据计算概述

1.3 大数据计算概述

第二章：大数据计算系统

2.1 大数据计算系统

2.2 数据存储系统

2.3数据处理系统

2.4 数据处理系统（续）

2.5 数据应用系统

第三章：数据采集方法

3.1 系统日志数据采集

3.2 网络数据采集

第四章：数据清洗与规约方法

4.1脏数据类型及处理方法

4.2数据噪声处理方法

4.3数据集成方法

4.4数据规约方法

4.5数据建模方法

数据建模：

主要包含层次

概念模型（conceptual model）

概念模型主要基于用户的数据功能需求产生，通过与客户的交流获得业务要素，功能和关联关系的理解，从而定义出该业务领域内对应于上述业务要素和功能的实体类（entity class ）。概念建模阶段关不拘泥于实体细节或存储方式，重点是表达能够反映数据需求和支撑业务流程的数据实体及其相互间的关联关系。

如销售业务中的 客户和定单，还有就是商品，业务员。

描述就是 业务与客户就购买商品之事签定下定单，（此时可以不包含属性，只有实体集，联系集的分析结构）

逻辑模型 （logic model ）

逻辑模型给出更多的数据实现细节，包括主健，外键，属性，索引，约束，甚至视图，以数据表，数据列，值域，面向对象类（object-oriented class ）,xml标签等形式来描述，在有些建模实践中把概念模型与逻辑模型合为一个模型也是可以的

以销售业务为例：客户信息基本上要包括：单位名称，联系人，联系电话，地址等属性，商品信息基本上包括名称，规格

，

物理模型 （physical model ）

层次间关系

相对独立

一致性