可为 spark用户扩充管理员权限,那搞个双系统吧

Win10上利用子系统搭建hadoop本地开发环境及广大问题解决

服务器环境:Ubuntu15.04、jdk1.7、Hadoop2.7.1

说明

满心鼓舞的备选攻读hadoop,没悟出困难重重,具体多坑?
Hadoop对微软如此不和谐,
原来打算安装在docker上可以吧,一查找,一个课程都并未,我???,
那装个虚拟机吧,配置范围了自身的想像,
那搞个双系统吧,linux上又无法设置qq等必须软件,
尽管如此也可编译Hadoop源码为windows版本,不过hadoop那么多生态环境,难道自己要每一个都编译?
您恐怕会将代码打包为jar包再发送到服务器上运行,可是那增添了大气的调节工作,而且浪费了汪洋时光。
自己拿那windows能怎么办?甚至一度想换个黑苹果(忍住了)。

推测我大微软协调也意识那样下来无法盈利,只可以尽早叫上兄弟Ubuntu来填坑。
本学科利用win10自带的Ubuntu子系统来布局Hadoop运行条件。

1. 创建spark用户###\

为了隔离Hadoop和其他软件, 创制了可以登陆的 spark 用户,并应用 /bin/bash
作为 shell:

sudo useradd -m spark-s /bin/bash

设置spark用户密码:

sudo passwd spark

可为 spark用户扩展管理员权限,幸免布置时候遭遇有的出乎预料的权限问题:

sudo adduser hadoop sudo

添加完用户后,用户spark账户登录服务器,进行服务器配置。

要求

系统:win10(只有win10可以安装子系统)

2. SSH登录配置####\

集群、单节点方式都亟待用到
SSH登陆
,并且配备ssh的免密码登录,在集群启动时候可以免去输入密码的劳动。Ubuntu
默许已设置了 SSH client,其它还须求设置 SSH server:

sudo apt-get install openssh-server

测试使用ssh登录本机:

ssh localhost

报到成功后方可输入exit退出

图片 1

ssh登录本机

设置ssh无密码登录
设置免密码登录,生成私钥和公钥,利用 ssh-keygen
生成密钥,并将密钥出席到授权中。
变更公钥/私钥对:

ssh-keygen -t rsa -P ""

-P表示密码,-P ”
就表示空密码,也可以不要-P参数,那样就要三车回车,用-P就一回回车。它在/home/spark下生成.ssh目录,.ssh下有id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
下边大家将公钥追加到authorized_keys中,它用户保存所有允许以当下用户地方登录到ssh客户端用户的公钥内容

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

双重利用ssh登陆localhost,就不再需求输入密码:

ssh localhost

回忆退出登录,继续展开布署exit

图片 2

ssh登录本地不须求再输入密码

步骤

3. 安装Java环境###\

安装JDK:

sudo apt-get update
sudo apt-get install openjdk-7-jdk

设置成功后,使用java -version java版本

图片 3

健康呈现java版本

配备Java环境变量,假若运用方面的法门安装jdk,那么Java的设置路径应该是/usr/lib/jvm/java-7-openjdk-amd64,可是即使不可以确定,可以行使如下命令:

update-alternatives - -config java

输入结果:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

大家只取后面的有些 /usr/lib/jvm/java-7-openjdk-amd64
配置.bashrc文件:

sudo vim ~/.bashrc  #如果没有vim 请另行安装vim

在文书末尾追加上面内容,然后保留

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

实践上边命,使添加的环境变量生效:

source ~/.bashrc

测试Java环境变量结果:

echo $JAVA_HOME

假定输出/usr/lib/jvm/java-7-openjdk-amd64 则意味配置成功

第一步:安装Ubuntu子系统

开拓windows商店,搜索Ubuntu,找到后点击安装,等待安装完成即可。
安装完结后,为了以后能加快布局速度,安装包源为阿里源

4. 配置Hadoop###\

4.1 下载安装Hadoop

Hadoop 2 可以经过
http://mirror.bit.edu.cn/apache/hadoop/common/
下载,一般选用下载最新的安定版本,即下载 “stable” 下的
hadoop-2.x.y.tar.gz 那个格式的文件,那是编译好的,另一个包蕴 src
的则是 Hadoop 源代码,需求开展编译才可使用。
自我一贯下载编译好的压缩包:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压缩:

tar xfz hadoop-2.7.1.tar.gz

将安装包移动到usr/local/hadoop

sudo mv hadoop-2.6.0 /usr/local/hadoop

更改hadoop文件夹的持有者为spark用户

sudo chown -R spark /usr/local/hadoop

测试hadoop是还是不是可用
/usr/local/hadoop/bin/hadoop version
科学突显hadoop版本表示可用

4.2 Hadoop相关环境变量配置
打开./bashrc文件:

sudo vim ~/.bashrc

在.bashrc文件末尾添加相关环境变量:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

应用环境变量:

source ~/.bashrc

4.3 hadoop相关配置文件的配备

  1. 配置hadoop-env.sh

    sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
    

    更改JAVA_HOME为
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  2. 配置core-site.xml

    sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml
    

    <configuration></configuration>时期进入HDFS的安插(HDFS的端口配置在9000):
    <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    </property>

  3. 配置yarn-site.xml

    sudo vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
    

    <configuration></configuration>里头进入以下内容:
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

  4. 配置mapred-site.xml
    HADOOP_HOME目录下有一个布置模板$HADOOP_HOME/etc/hadoop/mapred-site.xml.template,先拷贝到$HADOOP_HOME/etc/hadoop/mapred-site.xml。

    cp $HADOOP_HOME/etc/hadoop/mapred-site.xml{.template,}
    

编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml文件:

   sudo vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

  在`<configuration></configuration>`之间加入以下内容:
   <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value>
   </property>

4.3 配置HDFS文件目录
1. 成立文件目录
如果准备将数据存放在/mnt/hdfs,方便起见,现将其设为一个环境变量:

export HADOOP_DATA_DIR=/mnt/hdfs

成立DataNode和NameNode的囤积目录,同时将这七个公文夹的持有者修改为spark:

sudo mkdir -p $HADOOP_DATA_DIR/namenode
sudo mkdir -p $HADOOP_DATA_DIR/datanode
sudo chown -R spark $HADOOP_DATA_DIR

2. 配置hdfs-site.xml文件

sudo vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration></configuration>以内扩大DataNode和NameNode的安排,如下:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/mnt/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/mnt/hdfs/datanode</value>
</property>

3. 格式化HDFS文件系统
应用下列命令格式化HDFS文件系统:

hdfs namenode -format

第二步:配置Ubuntu子系统

  • 设置主机名(不是必须的)

子系统主机名默认使用windows宿主机的名字,如若你一直没改过突显的应当是一串字符,为了方便开发,你应有修改主机名。通过设置->系统->关于->重命名这台电脑更改主机名。

  • 设置root密码

sudo passwd root
  • 设置默许登录用户

为了能便于开发,可以安装Ubuntu的默许登录用户为当前登录win10的用户名,因为您付出时是以近日报到用户执行顺序的,所以为了防止权限问题,推荐你如此做。
例如当前自己win10的用户为manlier,这就设置默许用户为manlier,如果当前ubuntu中从未该用户,会让你创建。

在Power shell 中执行

ubuntu config --default-user <username>
  • 安装ssh服务

Ubuntu 默许安装了ssh服务,假设没有安装,执行

sudo apt-get install openssh-client
sudo apt-get install openssh-server
  • 启动ssh服务

sudo service ssh start

假如遇上题目,重新安装ssh服务

sudo apt-get purge openssh-server
sudo apt-get install openssh-server

双重运行suddo service ssh --full-restart翻开是或不是已开行成功

  • 配置ssh端口

ssh端口默许是22号端口,该端口在win10中一度被sshProxy服务占了,你可以关闭该服务。也足以因而下边的授命在Ubuntu中改变ssh端口。

修改/etc/ssh/sshd_configPort 22为别的端口

vi /etc/ssh/sshd_config

重启ssh服务

sudo service ssh --full-restart

本文选择第一种,即直接关门sshProxy服务。若你挑选第三种,之后要求配备Hadoop集群的ssh端口。

  • 配置免密登录

明确,Hadoop必要树立在ssh的免密服务之上,因此要求举办ssh的公钥登录配置。

修改sshd_config文本,紧要更改上边几行

UsePrivilegeSeparation no
PermitRootLogin no         #如果你确实要用root方式登录的话设为yes
PasswordAuthentication yes

在Ubuntu中重启ssh服务

sudo service ssh --full-restart

执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa变迁密钥,注意不要使用dsa加密,它不安全也不再被协理。

执行ssh-copy-id -i ~/.ssh/id_rsa.pub <username>@localhost将公钥发送至Ubuntu,时期须求输入四遍(之后就不需求了)用户的密码。

至今免密服务业已布署达成。运行ssh localhost翻看是不是不必要密码登录,若出现问题,请查看输出到屏幕的日记。

5. 启动Hadoop###\

启动HDFS:

$HADOOP_HOME/sbin/start-dfs.sh

启动yarn:

$HADOOP_HOME/sbin/start-yarn.sh

HDFS和yarn的web控制台默许监听端口分别为50070和8088。可以通过浏览放访问查看运行景况。

悬停命令:
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
一经一切正常,使用jps可以查阅到正在运作的Hadoop服务,在自身机器上的体现结果为:

5003 SecondaryNameNode
5341 NodeManager
4798 DataNode
5182 ResourceManager
7311 Jps
4639 NameNode

第三步:安装Hadoop

在布置完ssh后,你可以直接根据法定文档中的表明,在linux环境下安装Hadoop了,那里列出重点步骤。

  • 安装JDK

Hadoop 看重JDK,首先需求设置Java,那里设置Oracle Java 8

sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
  • 配置JAVA_HOME

翻看JAVA安装路径

sudo update-alternatives --config java

  Selection    Path                                     Priority   Status
------------------------------------------------------------
  0            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      auto mode
* 1            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      manual mode

看到JDK路径为/usr/lib/jvm/java-8-oracle

/etc/environment中率先行添加如下内容:

JAVA_HOME="/usr/lib/jvm/java-8-oracle"

更新环境变量

source /etc/enviroment
  • 下载Hadoop并解压

cd /opt
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
tar xzvf hadoop-2.9.0.tar.gz
  • 设置HADOOP_HOME路径

/etc/environment文件中第一行添加HADOOP_HOME变量,为了输入指令时的便利着想,你可以参预到PATH环境变量中。

HADOOP_HOME="/opt/hadoop-2.9.0"
PATH="$HADOOP_HOME/bin:..."

source /etc/environment
  • 设置JAVA_HOME路径

修改etc/hadoop/hadoop-env.sh文件中的JAVA_HOME变量

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
  • 以伪分布格局配置Hadoop

修改etc/hadoop/core-site.xml文本内容如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改etc/hadoop/hdfs-site.xml文件内容如下:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
  • 配置YARN(若您使用YARN作为资源管理器)

修改etc/hadoop/mapred-site.xml如下:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改etc/hadoop/yarn-site.xml如下:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
  • 格式化文件系统

bin/hdfs namenode -format
  • 翻开 NameNode 和 DataNode 守护进程

sbin/start-dfs.sh
  • 开启YARN

sbin/start-yarn.sh
  • 翻开是不是启动成功

输入jps命令,若以下进程都启动了,表明启动成功

1984 SecondaryNameNode
2212 ResourceManager
2376 Jps
1738 DataNode
1612 NameNode
2334 NodeManager
  • 始建用户目录

hadoop fs -mkdir /user
hadoop fs -mkdir /user/<username>

迄今windows上的hadoop环境就搭建达成了,你可以打开localhost:50070查阅是不是启动成功。

好了,现在你可以运用idea或其余开发工具举办开发和调试了,而不用每一遍都打包到服务器上运行了(鼓掌)

6. 运行WordCount测试###\

单机情势安装已毕,上面通过实施hadoop自带实例WordCount验证是还是不是安装成功。
查看HDFS根目录下的文书:

hdfs dfs -ls /

在HDFS上创建input目录:

hdfs dfs -mkdir /input

将Hadoop路径下的README.txt传到HDFS:

hdfs dfs -put $HADOOP_HOME/README.txt /input/

完毕后运行如下命令,举行Word Count操作:

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount /input /output

图片 4

从没尤其 ,职务履行到位

查看计算结果:

hdfs dfs -cat /output/*

图片 5

彰显出单词的计算结果

最后Hadoop单节点的布置就完事了。如有啥问题,希望我们批评指正。

周边错误

  • 用户权限问题

若您在Ubuntu中以root身份启动了hadoop,并且创办了文件,那么这么些文件就属于root。而在支付环境中,你是当做其余用户运行程序的,没有权限访问该文件,要访问文件,可透过以下指令更改文件所有者:

sudo hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

OWNER:GROUP就是用户:所属组,例如更改为manlier:supergroup将文件的所有者改为了supergroup组下的manlier用户

  • datanode进度未启动

查看logs/hadoop-<username>-datanode-<hostname>.log文件检查错误。

若出现java.io.IOException: Incompatible
clusterIDs,则证实你的data进程的集群id与name进度的集群id不一样,解决办法如下:

找到您的hdfs的文书存放路径,若你没有指定,默认为/tmp/hadoop-<username>,彻底去除它,重新格式化文件系统,重启hadoop即可,查看具体原因

  • 出现 Unable to load native-hadoop library for your platform…

查阅当前是否配备好了HADOOP_HOME环境变量

echo $HADOOP_HOME

假使出口为空,你要求在/etc/enviroment文本中设置Hadoop目录:

HADOOP_HOME=your_hadoop_path

一碗水端平复更新环境变量

source /etc/enviroment

7. 参考资料###\

1. Hadoop单节点安装
2. Ubuntu14.04下安装Hadoop2.4.0
(单机格局)

3.
Hadoop装置教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04