初识大数据4大数据学习路线
目录
【初识大数据】4、大数据学习路线
文章目录
大数据学习路线
1.1 基础
1、基础JAVA语言（Java SE）
- 变量 类型 循环 if
- 面向对象：类、封装、集成、多态
- I/O：输入流、输出流——>HDFS会用到
- 反射、泛型——>MapReduce程序
- JDBC: 操作关系型数据库（RDBMS）——>Hive
2、Linux基础： Linux基本操作/常用命令（见初识大数据 / ）
3、SQL基础： select（重点）insert、update、delete
—-> Hive、Spark、SQL都会用到
—-> 大数据的终极目标：使用SQL分析大数据
1.2 Hadoop
（1）数据储存：HDFS（Hadoop Distributed File System）
（2）数据计算：MapReduce（Java程序）:在Hadoop 2.x以后，在Yarn容器---> 实现离线计算
（3）Hive：基于HDFS智商的数据仓库，支持SQL语句
（4）HBase：基于HDFS智商的NoSQL数据库
（5）ZooKeeper：实现HA（High Availability高可用性）的功能
（3）其他组件（生态圈）：Pig、Flume、Sqoop1.3实时计算
（1）Redis内存NoSQL数据库
Redis Cluster：分布式解决方案
（2）Apache Storm：进行实时计算（流式计算）以上都是用JAVA实现开发，以下是Scala语言开发
1.4 Spark
只有数据计算，没有数据的存储（依赖HDFS）
（1）Scala编程语言：多范式的编程语言（支持多种方法编程：1、面向对象 2、函数式编程）
（2）SPark Core：内核，相当于MapReduce
最重要的概念：RDD（弹性分布式数据集）
（3）Spark SQL：类似Hive，支持SQL语句
（4）Spark Streaming：处理流式计算的模块，类似Storm