大数据技术第一章：大数据概述

大数据概述

1.1.1三次信息化浪潮

第一次浪潮：

1. 时间：1980年前后
2. 标志：个人计算机
3. 解决问题：信息处理

第二次浪潮：

1. 时间：1995年前后
2. 标志：互联网
3. 解决问题：信息传输

第三次浪潮：

1. 时间：2010年前后
2. 标志：物联网云计算和大数据
3. 解决问题：信息爆炸

1.1.2 信息科技为大数据时代提供技术支撑

需要解决的问题：信息存储，信息传输，信息处理

1. 存储设备容量不断增加
2. cpu处理能力大幅度提升
3. 网络带宽不断增加

正是因为这些科技的进步带来了这三个问题，同时也为解决这三个问题提供了支持

1.1.3数据产生的方式

1. 运营式系统阶段
2. 用户原创阶段
3. 感知式系统阶段

1.2大数据概念

大数据的4V

1. 数据量大（Volume）
2. 数据种类多（Variety）
3. 处理速度快（velocity）
4. 数据价值密度地（Value）

1.3大数据的影响

大数据对科学研究影响

实验，理论，计算和数据范式

1. 实验科学
2. 理论科学
3. 计算科学
4. 数据密度集型科学

大数据对思维的影响

1. 全面的而非抽样的
2. 效率的而非精确的
3. 相关的而非因果的

1.4大数据的关键技术

1. 数据采集与预处理
2. 数据存储和管理
3. 数据处理与分析
4. 数据安全和隐私

大数据计算模式

1. 批处理计算

• 解决问题：针对大规模数据额批量处理
• 代表：MapReduce，spark

2. 流计算

• 解决问题：针对流数据的实时计算
• 代表:storm 银河流数据处理平台

3. 图计算

• 解决问题： 针对大规模图数据的处理
• 代表： pregel

4. 查询分析计算

• 解决问题：大规模数据的存储管理查询分析
• 代表：hive

大数据，云计算，物联网之间的关系