大数据是什么可以用来做什么核心是什么
目录
大数据是什么?可以用来做什么?核心是什么?
它是什么
它能用来做什么
它怎么用
它的工作原理是什么
1、什么是大数据技术
大数据技术是一门针对海量数据处理的编程技术
核心技术:分布式存储、分布式运算
2、大数据技术用来干嘛?
电商:分析用户浏览、购物的行为,挖掘数据,分析规律,以便及时精准推送;
金融:征信分析、运营分析。。。
头条:提供更加个性化的内容推送服务。
3、大数据技术的核心技术组件有哪些?
Hadoop、spark、flink等技术生态。
4、Hadoop是什么?
它是一套大数据技术组件。
5、Hadoop的核心技术组件有哪些?
(1)、HDFS 分布式文件系统 解决文件存储问题,实质是提供一套跨机器的文件管理服务
(2)、MAPERDUCE 分布式运算程序编程框架 降低分布式运算程序的开发难度,提高开发效率
(3)、YARM 分布式运算资源调度系统 解决分布式运算程序的启动、资源调度、资源回收等问题
(4)、其他外部组件:Hive是一个基于MAPERUCE和HDFS的一个sql工具
Hbase是一个基于HDFS实现的分布式nosql数据库
Flume是一个分布式日志采集系统
Sqoop是一个数据迁移工具,可以将数据从关系型数据库迁到Hadoop数据库