 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
在Windows上安装Hadoop教程 pdf
下载积分：300
内容提示：在Windows上安装Hadoop教程 pdf
文档格式：PDF|
浏览次数：38|
上传日期： 13:10:06|
文档星级：
该用户还上传了这些文档
在Windows上安装Hadoop教程 pdf
官方公共微信&&&&Windows上安装Hadoop的详细教程
Windows上安装Hadoop的详细教程
十分详细的描述了如何在Windows系统下安装Hadoop，步骤详细，本人已安装成功。
嵌到我的页面
<input type="text" readonly="true" value="">
若举报审核通过，可奖励20下载分
被举报人：
举报的资源分：
请选择类型
资源无法下载
资源无法使用
标题与实际内容不符
含有危害国家安全内容
含有反动色情等内容
含广告内容
版权问题，侵犯个人或公司的版权
*详细原因：
VIP下载&&免积分60元/年（1200次）
您可能还需要
网络技术下载排行kisuntechker 的BLOG
用户名：kisuntechker
文章数：87
访问量：38845
注册日期：
阅读量：5863
阅读量：12276
阅读量：305799
阅读量：1023396
51CTO推荐博文
原文地址：经过两天半的不懈努力，走了N次弯路，终于在本机上将hadoop安装成功，突然在网上发现以下文章，深有体会，早发现这篇文章就不会那么坎坷了，现在转载过来，供大家参考，谢谢原博主的辛苦工作！注意：本文的配置环境是：CygWin最新版本2.769Window7-64bitJDK1.6.0_31-win64 (JRE6)Eclipse-Indigo..Hadoop 0.20.2 (注意：0.20.203版本不可用，会导致tasktracker无法启动)-----------------------------------------华丽分割------------------------------------环境安装&配置：1.JDK，我的安装目录：C/Java，安装后视图650) this.width=650;" src="http://my.csdn.net/uploads//_9322.png" style="border:" alt="_9322.png" />安装好了JDK，然后配置JAVA_HOME环境变量:650) this.width=650;" src="http://my.csdn.net/uploads//_6592.png" style="border:" alt="_6592.png" />然后，把JDK下面的BIN目录追加到环境变量PATH后面。2.CygWin，安装过程中记得选择所需的包，这里需要的是:Net Category下的：openssh,opensslBaseCategory下的：sed （若需要Eclipse，必须sed）Devel Category下的：subversion（建议安装）。具体请参考下面的图示：650) this.width=650;" src="http://my.csdn.net/uploads//_3522.png" style="border:" alt="_3522.png" />650) this.width=650;" src="http://my.csdn.net/uploads//_1304.png" style="border:" alt="_1304.png" />650) this.width=650;" src="http://my.csdn.net/uploads//_6575.jpg" style="border:" alt="_6575.jpg" />安装完成后，把CygWin的bin目录以及usr/sbin 追加到系统环境变量PATH中。3.Hadoop把下载的hadoop-0.20.2.tar.gz解压到指定目录。我把解压后的Hadoop程序放到了Cygwin根目录下的hadoop文件夹中。具体如下图示：（不要使用0.20.203版本的Hadoop！！！）650) this.width=650;" src="http://my.csdn.net/uploads//_3033.png" style="border:" alt="_3033.png" />下面开始配置Hadoop。需要配置的文件：（hadoop/conf目录下）hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xml第一个文件 hadoop-env.sh650) this.width=650;" src="http://my.csdn.net/uploads//_6333.png" style="border:" alt="_6333.png" />把里面的JAVA_HOME改掉，注意export前面的#号要去掉。而且必须要使用linux的路径表达方式。我的jdk路径是 C:\JAVA\jdk1.6.0_31，在CygWin中对应的路径为： /cygdrive/c/java/jdk1.6.0_31第二个文件：core-site.xml首先删除它，然后把hadoop/src/core目录下的core-default.xml文件复制到conf目录下，并命名为core-site.xml。然后修改其中的fs.default.name变量，如下所示。（确保端口号（我的是9100）未被占用）650) this.width=650;" src="http://my.csdn.net/uploads//_4112.png" style="border:" alt="_4112.png" />第三个文件：hdfs-site.xml首先把它删除，然后复制src/hdfs目录下的hdfs-default.xml到conf目录下，并改名为hdfs-site.xml然后修改dfs.replication变量，如下图示：该变量意思是文件系统中文件的复本数量。在单独的一个数据节点上运行时，HDFS无法将块复制到三个数据节点上。650) this.width=650;" src="http://my.csdn.net/uploads//_7812.png" style="border:" alt="_7812.png" />第四个文件：mapred-site.xml首先删除它，然后复制src/mapred目录下的mapred-default.xml到conf目录下，并改名为mapred-site.xml，然后修改其mapred.job.tracker变量：（同样确保端口号未被占用）650) this.width=650;" src="http://my.csdn.net/uploads//_1480.png" style="border:" alt="_1480.png" />----------------------------------华丽分割-------------------------------------配置SSH服务（首先确认安装了OpenSSH,OpenSSL两个包）1.打开CygWin输入SSH-HOST-CONFIG2.系统提示：should privilege separation be used ? 回答：no3.系统提示：if sshd should be installed as service?回答：yes4.系统提示：the value of CYGWIN environment variable 输入: ntsec5.成功下面是图示（我自己当时没记录，所以参考的是网络上的图片）650) this.width=650;" src="http://my.csdn.net/uploads//_3209.png" style="border:" alt="_3209.png" />下一步，进入Window系统的服务菜单，打开Cygwin的SSHD服务：如下图所示：650) this.width=650;" src="http://my.csdn.net/uploads//_9307.png" style="border:" alt="_9307.png" />下面继续回到CygWin环境：执行如下命令：1.ssh-keygen然后一直回车2.cd ~/.ssh3.
cp id_rsa_pub anthorized_keys4.exit 退出cygwin，若不退出，可能出错再次登录时查看一下：650) this.width=650;" src="http://my.csdn.net/uploads//_2377.png" style="border:" alt="_2377.png" />5运行 ssh localhost 若有提示，则回车。6执行 ps 若看到 有/usr/bin/ssh 进程，说明成功------------------------------------华丽分割----------------------------------启动Hadoop第0步：为了避免jobtracker，info could only be replicated to 0 node,instead of 1错误，最好把 hadoop/conf目录下面的 masters和slaves文件全部改为127.0.0.1（原内容为：localhost）第一步，在hadoop目录下创建目录logs，用于保存日志第二步，格式化管理者，即namenode，创建HDFS执行命令： bin/hadoop namenode -format，下面示代表成功650) this.width=650;" src="http://my.csdn.net/uploads//_6919.png" style="border:" alt="_6919.png" />此时，执行ps，应该能看到ssh进程，且看不到java虚拟机进程。第三步，启动Hadoop，执行命令： bin/start-all.sh然后执行jps命令，你可能会看到如下图：650) this.width=650;" src="http://my.csdn.net/uploads//_9340.png" style="border:" alt="_9340.png" />会发现Datanode ，Secondarynamenode以及TaskTracker都没有启动。网上有人说是JPS的问题，具体不是很清楚，但本文后面的文件系统可以使用。Datanode可以保存数据，继续看吧。不过此时执行PS命令，能看到5个JVM进程。650) this.width=650;" src="http://my.csdn.net/uploads//_2216.png" style="border:" alt="_2216.png" />不知道这算不算成功，但我的Logs日志文件夹里面没有报错。------------------------------华丽分割---------------------------------------文件系统操作为了验证HDFS能够正常工作我们可以进行文件的上传操作。执行命令：bin/hadoop fs -mkdir Inbin/hadoop fs -put *.txt In以上命令会在HDFS中建立In文件夹，然后把本地Hadoop目录下的所有文本文件上传到HDFS中，Hadoop目录下共用四个txt文件：650) this.width=650;" src="http://my.csdn.net/uploads//_2695.png" style="border:" alt="_2695.png" />OK，上传的太少，不爽，再上传一部电影。比如，我要把一个视频文件movie.mpg上传到HDFS中，首先，在Hadoop根目录下建立文件夹local，然后把movie.mpg拷贝到其中650) this.width=650;" src="http://my.csdn.net/uploads//_9106.png" style="border:" alt="_9106.png" />下面执行命令：650) this.width=650;" src="http://my.csdn.net/uploads//_6532.png" style="border:" alt="_6532.png" />然后，查看文件系统是否有上述文件：650) this.width=650;" src="http://my.csdn.net/uploads//_5836.png" style="border:" alt="_5836.png" />可以看到Movie.mpg在HDFS中。同样在Eclipse中也能看到哇：650) this.width=650;" src="http://my.csdn.net/uploads//_6672.png" style="border:" alt="_6672.png" />OK，突然不能贴图了，我再接着写一篇吧。介绍一下常见的错误处理。
了这篇文章
类别：未分类┆阅读(0)┆评论(0)二次元同好交流新大陆
扫码下载App
温馨提示！由于新浪微博认证机制调整，您的新浪微博帐号绑定已过期，请重新绑定！&&|&&
LOFTER精选
网易考拉推荐
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
阅读(553)|
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
历史上的今天
loftPermalink:'',
id:'fks_',
blogTitle:'Windows平台上安装Hadoop-0.20.203.0版本方法',
blogAbstract:'目的
这篇文档的目的旨在说明在Windows平台上、利用Cygwin模拟Linux环境下，完成单机上Hadoop-0.20.203.0版的安装与使用。同时也旨在解决你在安装hadoop过程中出现JAVA_HOME is not set或是bin/java No such file or directory错误的问题。先决条件 1支持平台。
Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。2所需软件
2.1&& JavaTM1.6.x，必须安装且版本要为1.6及以上，建议选择Sun公司发行的Java版本。',
blogTag:'',
blogUrl:'blog/static/',
isPublished:1,
istop:false,
modifyTime:6,
publishTime:4,
permalink:'blog/static/',
commentCount:0,
mainCommentCount:0,
recommendCount:0,
bsrk:-100,
publisherId:0,
recomBlogHome:false,
currentRecomBlog:false,
attachmentsFileIds:[],
groupInfo:{},
friendstatus:'none',
followstatus:'unFollow',
pubSucc:'',
visitorProvince:'',
visitorCity:'',
visitorNewUser:false,
postAddInfo:{},
mset:'000',
remindgoodnightblog:false,
isBlackVisitor:false,
isShowYodaoAd:false,
hostIntro:'',
hmcon:'1',
selfRecomBlogCount:'0',
lofter_single:''
{list a as x}
{if x.moveFrom=='wap'}
{elseif x.moveFrom=='iphone'}
{elseif x.moveFrom=='android'}
{elseif x.moveFrom=='mobile'}
${a.selfIntro|escape}{if great260}${suplement}{/if}
{list a as x}
推荐过这篇日志的人：
{list a as x}
{if !!b&&b.length>0}
他们还推荐了：
{list b as y}
转载记录：
{list d as x}
{list a as x}
{list a as x}
{list a as x}
{list a as x}
{if x_index>4}{break}{/if}
${fn2(x.publishTime,'yyyy-MM-dd HH:mm:ss')}
{list a as x}
{if !!(blogDetail.preBlogPermalink)}
{if !!(blogDetail.nextBlogPermalink)}
{list a as x}
{if defined('newslist')&&newslist.length>0}
{list newslist as x}
{if x_index>7}{break}{/if}
{list a as x}
{var first_option =}
{list x.voteDetailList as voteToOption}
{if voteToOption==1}
{if first_option==false},{/if}&&“${b[voteToOption_index]}”&&
{if (x.role!="-1") },“我是${c[x.role]}”&&{/if}
&&&&&&&&${fn1(x.voteTime)}
{if x.userName==''}{/if}
网易公司版权所有&&
{list x.l as y}
{if defined('wl')}
{list wl as x}{/list}Windows平台下安装Hadoop_服务器应用_Linux公社-Linux系统门户网站
你好，游客
Windows平台下安装Hadoop
来源：Linux社区&
作者：kinglau
1、安装JDK1.6或更高版本
　　官网下载JDK，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。
2、安装Cygwin
　　Cygwin是Windows平台下模拟Unix环境的工具，需要在安装Cygwin的基础上安装Hadoop，下载地址：/
　　根据操作系统的需要下载32位或64的安装文件。
　　1)、双击下载好的安装文件，点击下一步，选择install from internet　
　　2）、选择安装路径
　　3）、选择local Package Directory
　　4）、选择您的Internet连接方式
　　5）、选择合适的安装源，点击下一步　　
　　6）、在Select Packages界面里，Category展开net，选择如下openssh和openssl两项　　
　　　　如果要在Eclipe上编译Hadoop，需要安装Category为Base下的sed　　
　　　　如果想在Cygwin上直接修改hadoop的配置文件，可以安装Editors下的vim
　　7）、点击&下一步&，等待安装完成。
3、配置环境变量
　　在&我的电脑&上点击右键，选择菜单中的&属性"，点击属性对话框上的高级页签，点击&环境变量"按钮，在系统变量列表里双击&Path&变量，在变量值后输入安装的Cygwin的bin目录，例如：D:\hadoop\cygwin64\bin
4、安装sshd服务
　　双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令
　　执行后，会提示输入密码，否则会退出该配置，此时输入密码和确认密码，回车。最后出现Host configuration finished.Have fun!表示安装成功。
　　输入net start sshd，启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。
　& 可能会遇到无法安装和启动sshd服务的问题，可参考此连接/kinglau/p/3261886.html。
　　另外如果是Win8操作系统，启动Cygwin时，需要以管理员身份运行（右键图标，选择以管理员身份运行），否则会因为权限问题，提示&发生系统错误5&。
5、配置SSH免密码登录
　　执行ssh-keygen命令生成密钥文件
　　如下图所示，输入：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa，注意-t -P -f参数区分大小写。
　　ssh-keygen是生成密钥命令
　　-t 表示指定生成的密钥类型(dsa,rsa)
　　-P表示提供的密语
　　-f指定生成的密钥文件。
　　注意:~代表当前用户的文件夹，/home/用户名　　
　　执行此命令后，在你的Cygwin\home\用户名 路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名& 查看，ssh -version命令查看版本。
　　执行完ssh-keygen命令后，再执行下面命令，就可以生成authorized_keys文件了。
　　cd ~/.ssh/
　　cp id_dsa.pub authorized_keys
　　如下图所示：　　
　　然后执行exit命令，退出Cygwin窗口
6、再次在桌面上双击Cygwin图标，打开Cygwin窗口，执行ssh localhost命令，第一次执行该命令会有提示，输入yes后，回车即可。如下图所示　　
安装和配置Hadoop2.2.0&
13.04上搭建Hadoop环境
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）
Ubuntu下Hadoop环境的配置
单机版搭建Hadoop环境图文教程详解
搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建）
更多详情见请继续阅读下一页的精彩内容：
相关资讯 & & &
& (11/16/:58)
& (11/04/:41)
& (11/16/:40)
& (11/04/:11)
& (10/10/:30)
图片资讯 & & &
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款}