目录

大数据是什么可以用来做什么核心是什么

目录

大数据是什么?可以用来做什么?核心是什么?

它是什么

它能用来做什么

它怎么用

它的工作原理是什么

1、什么是大数据技术

大数据技术是一门针对海量数据处理的编程技术

核心技术:分布式存储、分布式运算

2、大数据技术用来干嘛?

电商:分析用户浏览、购物的行为,挖掘数据,分析规律,以便及时精准推送;

金融:征信分析、运营分析。。。

头条:提供更加个性化的内容推送服务。

3、大数据技术的核心技术组件有哪些?

Hadoop、spark、flink等技术生态。

4、Hadoop是什么?

它是一套大数据技术组件。

5、Hadoop的核心技术组件有哪些?

(1)、HDFS        分布式文件系统         解决文件存储问题,实质是提供一套跨机器的文件管理服务

(2)、MAPERDUCE         分布式运算程序编程框架        降低分布式运算程序的开发难度,提高开发效率

(3)、YARM         分布式运算资源调度系统        解决分布式运算程序的启动、资源调度、资源回收等问题

(4)、其他外部组件:Hive是一个基于MAPERUCE和HDFS的一个sql工具

Hbase是一个基于HDFS实现的分布式nosql数据库

Flume是一个分布式日志采集系统

Sqoop是一个数据迁移工具,可以将数据从关系型数据库迁到Hadoop数据库