知识屋：更实用的电脑技术知识网站
知识屋 手机游戏 手机软件 电脑软件 最近更新 手机端
冒险村物语 英雄无敌3塔防 驾考家园手游
password怎么用？p 诺诺视频会议怎 网易UU网游加速
所在位置：首页 > 操作系统 > linux

Linux下安装Hadoop(伪分布模式)

发布时间：2014-09-05 14:23:52作者：知识屋

Linux下安装Hadoop(伪分布模式)
 
写在前面：在Linux下安装Hadoop时，应注意权限问题，将hadoop的权限赋给非root用户。
本文中未涉及如何在Linux下创建新用户。
 
第一步，安装JDK
1. 下载 java.sun.com
2. 解压tar.gz的文件
tar -xzvf jdk-7u17-linux-x64.tar.gz
3. 把解压出来的文件夹移动到/usr/local/jdk-1.7目录
mv /usr/local/src/jdk1.7.0_17 /usr/local/jdk-1.7
4. 修改profile
vi /etc/profile
在最后追加
export JAVA_HOME=/usr/local/jdk1.7.0_17
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin
5. 使环境变量生效
source /etc/profile
6. 查看当前jdk
update-alternatives --display java
7. 配置默认jdk
update-alternatives --install /usr/bin/java java /usr/local/jdk1.7.0_17/bin/java 300
update-alternatives --install /usr/bin/javac javac /usr/local/jdk1.7.0_17/bin/javac 300
update-alternatives --install /usr/bin/javap javap /usr/local/jdk1.7.0_17/bin/javap 300
update-alternatives --install /usr/bin/javadoc javadoc /usr/local/jdk1.7.0_17/bin/javadoc 300
 
update-alternatives --config java
如果系统中安装了其他jdk，会提示，选择jdk7
8. 测试
java -version
第二步，安装SSHD服务
ubuntu安装sshd命令：sudo apt-get install openssh-server
ubuntu删除sshd命令：sudo apt-get remove openssh-server
第三步，配置无密登录
(应该非root用户下执行)
ssh-keygen
cd ～/.ssh
mv id_rsa.pub id_rsa_hadoop.pub
touch authorized_keys
cat id_rsa_hadoop.pub >> authorized_keys
第四步，下载Hadoop并解压
解压：tar -zxvf hadoop-1.0.3.tar.gz
移动：mv hadoop-1.0.3 /usr/local/hadoop
更改文件夹chown -R hadoop.hadoop hadoop
创建目录：mkdir /data /data/hadoop
更改文件夹chown -R hadoop.hadoop /data/hadoop
第五步，配置Hadoop
配置 conf/hadoop-env.sh 
export JAVA_HOME=/usr/local/jdk-1.7
export HADOOP_LOG_DIR=/data/hadoop/logs
export HADOOP_PID_DIR=/data/hadoop/pids
修改/etc/profile
添加：export HADOOP_PID_DIR=/data/hadoop/pids
配置 core-site.xml
 
     fs.default.name 
    
   
     hdfs://master:8020 
   
     hadoop.tmp.dir 
    
   
     /data/hadoop/tmp 
 
配置 hdfs-site.xml 
 
     dfs.name.dir 
    
   
     /data/hadoop/name 
 
     dfs.data.dir 
    
   
     /data/hadoop/data 
 
     dfs.replication 
    
   
     2 
 
     dfs.permissions 
    
   
     false 
 
     hadoop.job.ugi 
    
   
     hadoop,supergroup 
 
配置 mapred-site.xml 
 
     mapred.job.tracker 
    
   
     master:8021 
 
     mapred.tasktracker.map.tasks.maximum 
    
   
     2 
 
     mapred.map.tasks 
    
   
     2 
 
     mapred.tasktracker.reduce.tasks.maximum 
    
   
     2 
 
     mapred.reduce.tasks 
    
     1 
 
     mapred.compress.map.output 
    
   
     true 
 
     mapred.map.output.compression.codec 
    
   
     com.hadoop.compression.lzo.LzoCodec 
 
第六步，启动关闭hadoop
bin/hadoop namenode -format (只在第一次启动时需要，用于格式化名称节点)
bin/start-all.sh
使用浏览器访问http://localhost:50070和http://localhost:50030查看Hadoop是否启动成功。
bin/stop-all.sh
 
（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
收藏

上一篇:Linux /etc目录详解

下一篇:使用客户端登陆ftp 500 OOPS: cannot change directory:/root解决

相关知识

软件推荐

更多 >

游戏推荐

更多 >

精选栏目

热门推荐

  • 人气文章
  • 最新文章
  • 下载排行榜
  • 热门排行榜

手机游戏

手机软件

电脑软件

猜你喜欢

学习 关卡 拍照 体育 策略 冒险 美食 唱歌 挂机 传奇 回合 仙侠 摄影 阅读 抖音 手机赚钱 医疗 招聘 吃鸡 腾讯 辅助 借钱 经营 导航 运动 动作 360 抢票 不上征信 教育 理财 WIFI 个人借贷 奇迹 塔防 通讯 儿童 剧情 格斗 武侠 竞速 钱包 投屏 角色扮演 养成 视频 旅游 分期 即时 投注

本站所有软件来自互联网，版权归原著所有。如有侵权，敬请来信告知，我们将及时撤销。

知识屋 www.zhishiwu.com 更实用的电脑技术知识网站

苏ICP备14019037号-7