大数据概述学习

大数据学习主要围绕着大数据获取、存储、计算和应用的基本原理进行学习。

大数据的定义：大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

大数据的技术支撑：

1.存储：存储成本的下降（云计算技术的出现）

2.计算：计算速度越来越快（海量数据从原始数据源到产生价值，期间会经过存储，清洗，挖掘，分析等多个环节）

3.人工智能：机器拥有理解数据的能力。大数据带来的最大价值就是“智慧”，大数据让机器变得有智慧，同时人工智能进一步提升了处理和理解数据的能力。

大数据的特点：

（1）Volume规模性

（2）Velocity高速性

（3）Variety多样性

（4）Value高价值性

大数据分析的三个层次: 描述分析，预测分析，规范分析

大数据分析涉及的技术：

（1）数据采集：利用多个数据库来接收客户端的数据

（2）数据管理

（3）基础架构

（4）数据的理解和提取

大数据分析算法的设计技术：

（1）随机算法

（2）外存算法

（3）并行算法

（4）Anytime算法