知识屋：更实用的电脑技术知识网站
知识屋 手机游戏 手机软件 电脑软件 最近更新 手机端
冒险村物语 英雄无敌3塔防 驾考家园手游
password怎么用？p 诺诺视频会议怎 网易UU网游加速
所在位置：首页 > 操作系统 > linux

linux下从安装JDK到安装ssh到hadoop单机伪分布式部署

发布时间：2014-09-05 16:50:18作者：知识屋

 

环境：ubuntu 10.10  JDK1.6.0.27  hadoop 0.20.2

 

          一. ubuntu 下JDK 的安装：

 

1. 下载jdk-6u27-linux-i586.bin

 

2. 拷贝到/usr/java，设置文件的操作权限

 

3. $ ./jdk-6u27-linux-i586.bin开始安装

 

4. 设置环境变量vi /etc/profile 在文件最后添加

 

   JAVA_HOME=/usr/Java/jdk1.6.0_27

   PATH=$JAVA_HOME/bin:$PATH

   CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

   export PATH JAVA_HOME CLASSPATH

5. 设置用户安装的JDK为默认JDK，执行

 

  $ update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/jdk1.6.0_12/bin/java 300

  $ update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/jdk1.6.0_12/bin/javac 300

 

  $ update-alternatives --config java

 

6. 输入java -version 成功安装

 

二.ubuntu下安装ssh:

 

1. $ sudo apt-get install openssh-server

2. 启动ssh    /etc/init.d/ssh start

3. $ ps -e | grep ssh 来验证是否启动sshserver

 

4. 免密码化

 

       $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

       $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

三.ubuntu 下安装hadoop：

 

1. 下载hadoop-0.20.2.tar.gz，放在/usr/hadoop 下载地址http://apache.etoak.com//hadoop/core/

 

2.  解压$ tar zxvf hadoop-0.20.2.tar.gz

 

3. 修改hadoop配置文件

 

    conf/hadoop-env.sh  修改JAVA_HOME选项：

 

        export JAVA_HOME=/usr/java/jdk.1.6.0_27

 

4. 伪分布式单机配置

 

    conf/core-site.xml

 

 

<?xml version="1.0"?> 

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<!-- Put site-specific property overrides in this file. --> 

<configuration> 

         <property> 

                  <name>fs.default.name</name> 

                  <value>hdfs://localhost:9000</value> 

        </property> 

</configuration> 

 

conf/hdfs-site.xml:

 

<?xml version="1.0"?> 

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<!-- Put site-specific property overrides in this file. --> 

<configuration> 

         <property> 

                  <name>dfs.replication</name> 

                   <value>1</value> 

         </property> 

</configuration> 

 

 

conf/mapred-site.xml:

 

 

<?xml version="1.0"?> 

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<!-- Put site-specific property overrides in this file. --> 

<configuration> 

        <property> 

                 <name>mapred.job.tracker</name> 

                          <value>localhost:9001</value> 

        </property> 

</configuration> 

 

5. 创建hdfs文件系统

    $ bin/hadoop namenode -format

 

6. 启动hadoop    需要先启动ssh  $ /etc/init.d/ssh start

    $ bin/hadoop start-all.sh

 

7. 在hadoop下创建test目录，然后建立file1.txt file2.txt 写入几个单词；将hadoop/test下的测试文件上传到hadoop 文件系统中

 

   $ bin/hadoop dfs -put ./test input

 

8. 运行wordCount例子

 

    $ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

 

9. 把结果从dfs上拷贝下来

 

    $ bin/hadoop dfs -get output output

 

10. 查看结果

 

    $ cat output/* 也可以直接查看$ bin/hadoop dfs -cat output/*

 

11. 停止hadoop运行

 

    $ bin/hadoop stop-all.sh

 

12. 关闭ssh-server

 

    $  /etc/init.d/ssh stop

摘自：daniel的专栏

（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
收藏

上一篇:apache配置多端口对应多个虚拟目录

下一篇:六款常用的linux C/C++ IDE

相关知识

软件推荐

更多 >

游戏推荐

更多 >

精选栏目

热门推荐

  • 人气文章
  • 最新文章
  • 下载排行榜
  • 热门排行榜

手机游戏

手机软件

电脑软件

猜你喜欢

英语口语 区块链 母婴 卡牌 影音 网易 唱歌 3D 棋牌 竞技 宫斗 剧情 魔幻 网贷借钱 视频 借钱 手机美化 节奏 策略 放置 恋爱 赛车 社交 个人借贷 战国 购物 体育 模拟 摄像 联机 RPG 经营 动作 三国 腾讯 通讯 运动 资讯 钱包 办公 解谜 射击 教育 拍照 低息 美食 漫画 财经 沙盒 小说

本站所有软件来自互联网，版权归原著所有。如有侵权，敬请来信告知，我们将及时撤销。

知识屋 www.zhishiwu.com 更实用的电脑技术知识网站

苏ICP备14019037号-7