目录

如何在百度云平台上执行Hadoop-MapReduce程序

目录

如何在百度云平台上执行Hadoop MapReduce程序

发现百度云平台,可以在线执行hadoop MapReduce程序,很欣喜,摸索了一下,可以使用。大概想这才叫做云计算啊,我把计算任务给你,你把计算结果还给我。

首先要有百度账号。

从平台入口进入: 。

https://img-blog.csdn.net/20140415095607828?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFvemhhb2t1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast

会看到如下的界面,其实就是把linux系统的控制台搬到了浏览器上。可用的命令这里已经有了说明。

https://img-blog.csdn.net/20140415095641890?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFvemhhb2t1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast

输入命令:hadoop jar $hadoop_examples pi 2 100,就可以运行自带的实例,来计算PI的值。

当然,可以自己上传自己的程序来执行,如下,可上传文件,包括jar包和数据文件。

https://img-blog.csdn.net/20140415095719140?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFvemhhb2t1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast

比如,我这里上传了这两个文件,一个是hadoop1.2.1版本里自带的例子,一个是数据文件。

https://img-blog.csdn.net/20140415095803343?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFvemhhb2t1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast

下面把上传的数据文件放到HDFS上面:

https://img-blog.csdn.net/20140415095842109?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFvemhhb2t1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast

这样就可以执行hadoop jar来运行这个例子了。

https://img-blog.csdn.net/20140415095906406?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFvemhhb2t1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast

执行成功。自动建立output文件夹并输出了三个文件。

https://img-blog.csdn.net/20140415095959109?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFvemhhb2t1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast

下面来看一下结果片段:

https://img-blog.csdn.net/20140415100016953?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFvemhhb2t1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast

不仅如此,还可以绑定网盘,从网盘直接复制文件过来。这一切都是免费的!

还有很多需要学习摸索。