895959.comHBase环境搭建(单机)HBase环境搭建(单机)

引言

在深数目上系列之一 —–
Hadoop环境搭建(单机)
成功的搭建了Hadoop的条件,在酷数量上系列之二 —–
HBase环境搭建(单机)遂搭建了HBase的条件及有关应用介绍。本文主要讲解如何搭建Hadoop+Hive的条件。

引言

在异常数额上系列之一 —–
Hadoop环境搭建(单机)
成功的搭建了Hadoop的环境,在万分数目上系列的二 —–
HBase环境搭建(单机)遂搭建了HBase的环境暨相关以介绍。本文主要讲解如何搭建Hadoop+Hive的环境。

平等、环境准备

平、环境准备

1,服务器选择

当地虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

说明:因为用阿里云服务器每次都使重新配置,而且还要考虑网络传输问题,于是协调于地面就搭建了一个虚拟机,方便文件的传导和相关安排,缺点是本来卡的计算机即使换得更卡了。具体科目以及用以达标一样全套博文被。
地址: http://blog.csdn.net/qazwsxpcm/article/details/78816230。

1,服务器选择

地面虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

说明:因为用阿里云服务器每次都使重新配置,而且还要考虑网络传输问题,于是友好于该地就搭建了一个虚拟机,方便文件的传导和相关部署,缺点是本来卡的微机就易得又卡了。具体科目以及运以上亦然通博文被。
地址: http://blog.csdn.net/qazwsxpcm/article/details/78816230。

2,配置选

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)

2,配置选

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)

3,下载地址

JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/

百度云盘:
链接:https://pan.baidu.com/s/1slxBsHv 密码:x51i

3,下载地址

JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/

百度云盘:
链接:https://pan.baidu.com/s/1slxBsHv 密码:x51i

其次、服务器的连锁配置

在安排Hadoop+Hive之前,应该先举行一下部署。
做这些安排为便于,使用root权限。

亚、服务器的连锁配置

于安排Hadoop+Hive之前,应该事先做一下部署。
举行这些配置为便于,使用root权限。

1,更改主机名

先是更改主机名,目的是以方便管理。
输入:

hostname 

翻开本机的号
然后改变主机名吧master
输入:

hostnamectl set-hostname master

横流:主机名称改成后,要重开(reboot)才会生效。

1,更改主机名

先是更改主机名,目的是为着方便管理。
输入:

hostname 

查阅本机的称
接下来转主机名也master
输入:

hostnamectl set-hostname master

横流:主机名称改变后,要又开(reboot)才见面收效。

2,做IP和主机名的照

改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
主机的ip 和 主机名称

192.168.238.128 master

2,做IP和主机名的映射

改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
主机的ip 和 主机名称

192.168.238.128 master

3,关闭防火墙

关防火墙,方便访问。
CentOS 7版本以下输入:
闭馆防火墙

service   iptables stop

CentOS 7 以上之本子输入:

systemctl stop firewalld.service

3,关闭防火墙

关防火墙,方便访问。
CentOS 7版本以下输入:
关闭防火墙

service   iptables stop

CentOS 7 以上之本子输入:

systemctl stop firewalld.service

3,时间设置

翻看时日
输入:

date

查阅服务器时间是否相同,若无雷同则变动
变更时间命令

date -s ‘MMDDhhmmYYYY.ss’

3,时间设置

翻时时刻
输入:

date

翻开服务器时间是否相同,若未同等则更改
反时间命令

date -s ‘MMDDhhmmYYYY.ss’

老三、Hadoop安装以及布局

Hadoop的切实安排当良数目上系列之一 —–
Hadoop环境搭建(单机)
中介绍得老详细了。所以本文就大致介绍一下。
横流:具体部署为友好的为以。

其三、Hadoop安装及部署

Hadoop的具体配置于十分数量上系列之一 —–
Hadoop环境搭建(单机)
中介绍得异常详细了。所以本文就横介绍一下。
注:具体部署为相好之呢按照。

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

布置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2,配置文件更改

先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 索引下

2,配置文件更改

事先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目下

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改也友好之JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改也好之JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

要无 mapred-site.xml
该公文,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

改者新建的mapred-site.xml文件,在节点内进入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3.2.4 修改mapred-site.xml

使没有 mapred-site.xml
该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改是新建的mapred-site.xml文件,在节点内投入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3,Hadoop启动

起步之前需要先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

启航成功后,输入jsp查看是否启动成功
于浏览器输入 ip+8088 和ip +50070 界面查看是否能够访问
克科学访问则启动成功

3,Hadoop启动

启航之前用先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

起先成功后,输入jsp查看是否启动成功
每当浏览器输入 ip+8088 和ip +50070 界面查看是否会顾
能科学访问则启动成功

四、Mysql安装

坐Hive的默认元数据是Mysql,所以先使安装Mysql。
Mysql有有限种安装模式,可自行选择。

四、Mysql安装

为Hive的默认元数据是Mysql,所以先要设置Mysql。
Mysql有星星点点栽安装模式,可自动选择。

1,yum安装

首先查看mysql 是否曾经设置
输入:

rpm -qa | grep mysql   

如果就装,想抹的说话
输入:
常见删除命令:

rpm -e mysql

暴力删除命令:

rpm -e --nodeps mysql    

拄文件也会去

安装mysql
输入:

yum list mysql-server  

倘若没,则通过wget命令下载该包
输入:

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm   

下载成功之后,再输入指令安装

yum install mysql-server

每当装过程被碰到选择输入y就尽了
895959.com 1
895959.com 2

装成功后,输入 service mysqld start 启动服务
输入:
mysqladmin -u root -p password ‘123456’
来安装密码
输入后一直回车(默认是不曾密码的)
下一场再度输入
mysql -u root -p
895959.com 3
经过授权法还改长途连接权限
输入: grant all privileges on . to ‘root’@’%’
identified by ‘123456’;
横流:第一个’root’是用户称,第二单’%’是装有的ip都得远程访问,第三独’123456’表示
用户密码 如果未常用 就关掉
输入:flush privileges; //刷新

每当防火墙关闭后,使用SQLYog之类的家伙测试是否会是连接

895959.com 4

1,yum安装

第一查看mysql 是否早已安装
输入:

rpm -qa | grep mysql   

如果既设置,想抹的话语
输入:
便删除命令:

rpm -e mysql

武力删除命令:

rpm -e --nodeps mysql    

乘文件为会去除

安装mysql
输入:

yum list mysql-server  

倘若无,则透过wget命令下载该包
输入:

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm   

下载成功以后,再输入指令安装

yum install mysql-server

在安装过程遭到相见选择输入y就实行了
895959.com 5
895959.com 6

设置成功后,输入 service mysqld start 启动服务
输入:
mysqladmin -u root -p password ‘123456’
来安密码
输入后一直回车(默认是没密码的)
接下来再次输入
mysql -u root -p
895959.com 7
经过授权法又改长途连接权限
输入: grant all privileges on . to ‘root’@’%’
identified by ‘123456’;
流动:第一单’root’是用户称,第二只’%’是享有的ip都好远距离访问,第三个’123456’表示
用户密码 如果不常用 就倒闭掉
输入:flush privileges; //刷新

每当防火墙关闭后,使用SQLYog之类的工具测试是否能够科学连接

895959.com 8

2,编译包安装

2,编译包安装

Mysql文件准备

用下充斥好的mysql安装包上传到linux服务器
解压mysql解压包,并活动到/usr/local目录下,重命名吧mysql。
命令:

tar -xvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.21-linux-glibc2.5-x86_64 /usr/local
cd /usr/local
mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql

895959.com 9

横流: mysql默认的不二法门是就是/usr/local/mysql
,如果设置的地方改,需要变更相应的布置文件。

Mysql文件准备

将生充斥好的mysql安装包上传到linux服务器
解压mysql解压包,并活动到/usr/local目录下,重命名为mysql。
命令:

tar -xvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.21-linux-glibc2.5-x86_64 /usr/local
cd /usr/local
mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql

895959.com 10

流动: mysql默认的不二法门是就是是/usr/local/mysql
,如果安的地方改,需要转移相应的布文件。

安装mysql

切换到mysql的目录 /usr/local/mysql
输入:

 ./scripts/mysql_install_db --user=mysql

895959.com 11
事业有成安装mysql之后,输入
service mysql start 或 /etc/init.d/mysql start

895959.com 12
查阅是否启动成功
输入:

 ps -ef|grep mysql

切换到 /usr/local/mysql/bin 目录下
设置密码
mysqladmin -u root password ‘123456’入mysql
输入:

mysql -u root -p

安远程连接权限
输入:
grant all privileges on . to ‘root’@’%’ identified
by ‘123456’;
然后输入:
flush privileges;

证实:
第一只’root’是用户称,第二独’%’是有的ip都得以远距离访问,第三个’123456’表示用户密码
如果不常用就倒闭掉。

应用本地连接工具连接测试

895959.com 13

安装mysql

切换到mysql的目录 /usr/local/mysql
输入:

 ./scripts/mysql_install_db --user=mysql

895959.com 14
成安装mysql之后,输入
service mysql start 或 /etc/init.d/mysql start

895959.com 15
翻看是否启动成功
输入:

 ps -ef|grep mysql

切换到 /usr/local/mysql/bin 目录下
安装密码
mysqladmin -u root password ‘123456’入mysql
输入:

mysql -u root -p

安装远程连接权限
输入:
grant all privileges on . to ‘root’@’%’ identified
by ‘123456’;
接下来输入:
flush privileges;

说明:
第一单’root’是用户称,第二单’%’是怀有的ip都可长距离访问,第三独’123456’表示用户密码
如果未常用就关掉。

下本地连接工具连接测试

895959.com 16

五、Hive环境设置与配置

五、Hive环境设置及安排

1,文件准备

以下载下来的Hive 的配置文件进行解压
在linux上输入:

 tar -xvf  apache-hive-2.1.1-bin.tar.gz

然后倒到/opt/hive 里面,将文件夹又命名吧 hive2.1
输入

mv  apache-hive-2.1.1-bin  /opt/hive
mv apache-hive-2.1.1-bin hive2.1

1,文件准备

以下载下来的Hive 的部署文件进行解压
在linux上输入:

 tar -xvf  apache-hive-2.1.1-bin.tar.gz

下一场倒到/opt/hive 里面,将文件夹又命名也 hive2.1
输入

mv  apache-hive-2.1.1-bin  /opt/hive
mv apache-hive-2.1.1-bin hive2.1

2,环境布置

编辑 /etc/profile 文件
输入:

vim /etc/profile

添加:

export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

895959.com 17
流淌:实际安排为友好的也以!
输入:

source  /etc/profile

如果配置生效

2,环境布置

编辑 /etc/profile 文件
输入:

vim /etc/profile

添加:

export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

895959.com 18
流动:实际部署为相好之呢按照!
输入:

source  /etc/profile

设若配置生效

3,配置更改

3,配置更改

5.3.1新建文件夹

当改动配置文件前,需要事先以root目录下起部分文件夹。

mkdir /root/hive
mkdir /root/hive/warehouse

新建了该文件从此,需要让hadoop新建/root/hive/warehouse 和 /root/hive/
目录。
执行命令:

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse

吃刚刚新建的目给读写权限,执行命令:

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse 

检查及时半单目录是否成创建
输入:

$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/

895959.com 19

得视曾成创办

5.3.1新建文件夹

以修改配置文件前,需要先在root目录下建立有文本夹。

mkdir /root/hive
mkdir /root/hive/warehouse

新建了该公文后,需要为hadoop新建/root/hive/warehouse 和 /root/hive/
目录。
执行命令:

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse

给刚新建的目给读写权限,执行命令:

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse 

自我批评就片个目录是否中标开创
输入:

$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/

895959.com 20

好望曾成功创建

5.3.2 修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
用hive-default.xml.template 拷贝一卖,并重命名为hive-site.xml
下一场编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

下一场以配置文件被拥有的

${system:java.io.tmpdir}

变更为 /opt/hive/tmp (如果没该文件则开创),
并拿这文件夹赋予读写权限,将
${system:user.name}
更改为 root

例如:
转之前的:
895959.com 21
转后:
895959.com 22

配置图:
895959.com 23

流动: 由于hive-site.xml
文件被之布置了多,可以通过FTP将其下载下来进行编辑。也得一直配备好所用的,其他的可去除。
MySQL的连日地址被之master是主机的别名,可以变换成ip。

5.3.2 修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
将hive-default.xml.template 拷贝一卖,并重命名为hive-site.xml
然后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

下一场用布文件被具有的

${system:java.io.tmpdir}

转移为 /opt/hive/tmp (如果无该文件则开创),
并拿这文件夹赋予读写权限,将
${system:user.name}
更改为 root

例如:
反之前的:
895959.com 24
更改后:
895959.com 25

配置图:
895959.com 26

注: 由于hive-site.xml
文件被之安排了多,可以透过FTP将它下载下来进行编辑。也得一直配备好所用的,其他的得去除。
MySQL的总是地址被之master是主机的别名,可以变成ip。

5.3.3 修改 hive-env.sh

改hive-env.sh 文件,没有就复制 hive-env.sh.template
,并重命名为hive-env.sh
895959.com 27
于这布局文件被补充加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

895959.com 28

5.3.3 修改 hive-env.sh

改hive-env.sh 文件,没有就复制 hive-env.sh.template
,并重命名为hive-env.sh
895959.com 29
在这个布局文件中上加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

895959.com 30

5.3.4 添加 数据令包

出于Hive 默认自带的数据库是以mysql,所以这块就是之所以mysql
以mysql 的使包 上传出 /opt/hive/hive2.1/lib

895959.com 31

5.3.4 添加 数据驱动包

出于Hive 默认自带的数据库是使用mysql,所以这块就是用mysql
用mysql 的使包 上流传 /opt/hive/hive2.1/lib

895959.com 32

六、Hive Shell 测试

于功成名就启动Hadoop之后
切换到Hive目录下
输入:

cd /opt/hive/hive2.1/bin

先是初始化数据库
初始化的下注意要以mysql启动
输入:

schematool  -initSchema -dbType mysql 

895959.com 33

行成功之后,可以看hive数据库暨一堆表已经创造成功了

895959.com 34

切换到 cd /opt/hive/hive2.1/bin
进hive (确保hadoop以及成功启动)
输入:

hive

895959.com 35

进入hive 之后
召开片简约的操作
新建一个仓库,然后在修筑平张表
基本操作和日常的干项目数据库差不多
创建库:

create database db_hiveTest;

创建表:

create  table  db_hiveTest.student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

895959.com 36

说明: terminated by ‘\t’
表示文本分隔符要使用Tab,行和实践直接不克发空格。

加载数据
乍开拓一个窗口
以hive 不支持写,所以添加数据运用load加载文本获取。
新建一个文本

touch  /opt/hive/student.txt

编该文本添加数据
输入:

vim /opt/hive/student.txt

增长数据:
当中的空格符使用Tab建

1001    zhangsan
1002    lisi
1003    wangwu

895959.com 37
说明:
文本可以以Windows上面新建,然后经过ftp上传到linux中,需要留意文本的格式为unix
格式。

切换到hive shell
加载数据
输入:

load data local inpath '/opt/hive/student.txt'  into table db_hivetest.student;

下一场查询该数据
输入:

select * from db_hiveTest.student;

895959.com 38

正文的Hadoop+Hive的安排就到此结束了,谢谢阅读!

六、Hive Shell 测试

以成启动Hadoop之后
切换到Hive目录下
输入:

cd /opt/hive/hive2.1/bin

第一初始化数据库
初始化的时光注意要以mysql启动
输入:

schematool  -initSchema -dbType mysql 

895959.com 39

履成功之后,可以看来hive数据库暨一堆表已经创办成功了

895959.com 40

切换到 cd /opt/hive/hive2.1/bin
跻身hive (确保hadoop以及成功启动)
输入:

hive

895959.com 41

进入hive 之后
举行片简便的操作
新建一个仓房,然后在盘同等张表
基本操作和常见的关联项目数据库差不多
创建库:

create database db_hiveTest;

创建表:

create  table  db_hiveTest.student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

895959.com 42

说明: terminated by ‘\t’
代表文本分隔符要使用Tab,行和实施直接不克生空格。

加载数据
乍开拓一个窗口
因为hive 不支持写,所以添加数据采取load加载文本获取。
新建一个文本

touch  /opt/hive/student.txt

修该文本添加数据
输入:

vim /opt/hive/student.txt

加上数:
中等的空格符使用Tab建

1001    zhangsan
1002    lisi
1003    wangwu

895959.com 43
征:
文本可以当Windows上面新建,然后经过ftp上传到linux中,需要注意文本的格式为unix
格式。

切换到hive shell
加载数据
输入:

load data local inpath '/opt/hive/student.txt'  into table db_hivetest.student;

下一场查询该数额
输入:

select * from db_hiveTest.student;

895959.com 44

本文的Hadoop+Hive的布就到此结束了,谢谢阅读!

其它

再多的hive使用要参考官方文档
https://cwiki.apache.org/confluence/display/Hive/LanguageManual
条件搭建参考:
http://blog.csdn.net/pucao_cug/article/details/71773665

版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
个体博客出处:http://www.panchengming.com
原创是,转载请标明出处,谢谢!

其它

复多的hive使用要参见官方文档
https://cwiki.apache.org/confluence/display/Hive/LanguageManual
条件搭建参考:
http://blog.csdn.net/pucao_cug/article/details/71773665

版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
村办博客出处:http://www.panchengming.com
原创是,转载请标明出处,谢谢!