IT虾米网

Hadoop伪分布安装详解(五)

admin 2018年06月13日 大数据 423 0

目录:

     1.修改主机名和用户名

     2.配置静态IP地址

     3.配置SSH无密码连接

     4.安装JDK1.7

     5.配置Hadoop

     6.安装Mysql

     7.安装Hive

     8.安装Hbase

     9.安装Sqoop

********************

8.安装Hbase

     HBase是基于HDFS的一种列式数据库,接下来使用伪分布式的安装方式。

    (1)将/opt/hbase-1.0.0-cdh5.6.0.tar.gz解压

tar  -zxvf  /opt/hbase-1.0.0-cdh5.6.0.tar.gz

   (2) 配置Hbase相关配置文件,在其conf目录下可查看所有配置文件,如下图:

    

    打开hbase-env.sh

    [[email protected] conf]# vi  hbase-env.sh    

  •     #这里同时需要注释掉与zookeeper相关配置,在这里使用自带的Zookeeper。不使用单独的zookeeper。一般在文件中已经作了注释,无需修改该配置文件。
  •     #在文件末尾追加JAVA_HOME和HBASE_MANAGERS的配置信息
export JAVA_HOME=/usr/java/default 
export HBASE_MANAGES_ZK=true     #表示使用自带的zookeeper

   (3)配置regionservers

     [[email protected] conf]# vi regionservers  

     

     该配置选项为当Hbase启动的时候,Hreginserver进程是根据conf/regionserver文件中的节点来启动的,因此,这里需要根据自己的主机名进行填写。

   (4)配置hbase-site.xml

<configuration> 
    <property> 
       <name>hbase.rootdir</name> 
       <value>hdfs://neusoft-master:9000/hbase</value> 
    </property> 
    <property> 
       <name>hbase.cluster.distributed</name> 
       <value>true</value>   true表示运行模式为完全分布式模式,如果是伪分布更改爲false 
    </property> 
 
</configuration>

    

 

  (4)配置环境变量 vi /etc/profile

export HBASE_HOME=/opt/hbase-1.0.0-cdh5.6.0 
export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin

      

source  /etc/profile  #配置生效

 (5)启动并验证

(a)首先启动Hadoop

[[email protected] ~]# cd /opt/hadoop-2.6.0-cdh5.6.0/sbin/ 
[[email protected]-master sbin]# ./start-all.sh 

      检验hadoop启动是否成功

  

(b)启动Hbase进程

 [[email protected] bin]# chmod +x /opt/hbase-1.0.0-cdh5.6.0/bin/start-hbase.sh   #启动文件赋权限 
 [[email protected]-master bin]# ./opt/hbase-1.0.0-cdh5.6.0/bin/start-hbase.sh   #启动hbase进程

     使用jps进程查看是否有如下进程 

  • HMaster              #Hbase的配置节点。默认在start-habse.sh启动时启动。
  • HregionServer    #该配置选项为当Hbase启动的时候,Hreginserver进程是根据conf/regionserver文件中的节点来启动的。
  • HQuorumpeer     #该进程为Zookeeper进程

      

(c)进入Hbase命令行模式  

 [[email protected] conf]# hbase  shell

     

     注意:安装完HBase,需要采用NTP时间同步服务器使得各节点时间一致,否则有了误差,Hbase会启动失败。

     

 

  9.安装Sqoop

    Sqoop是一个从关系型数据库抽取到Hadoop中,用于进一步处理数据。

       (1)将/opt/sqoop-1.4.6-cdh5.6.0.tar.gz解压  

tar -zxvf   /opt/sqoop-1.4.6-cdh5.6.0.tar.gz

       (2)[[email protected] bin]# vi /etc/profile

export SQOOP_HOME=/opt/sqoop-1.4.6-cdh5.6.0 
export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin

使得环境变量生效

source  /etc/profile  #使得环境变量生效

 (3)进入mysql执行以下

mysql>grant all privileges on  *.* to 'sqoop'@'neusoft-master' identified by 'sqoopwd' with grant option

mysql>select host,user,password  from mysql.user

mysql>flush privileges;

mysql>create database sqoop;

mysql>use sqoop;

mysql>create table test(id int,name varchar(20),age int)

mysql>insert into test(1,'tag',20)

如果上述语句出错,插入语句可直接指定具体字段:mysql>insert into test(id,name,age) values(1,'tag',20)

(4)linux命令行中执行下述sqoop代码:

sqoop  list-databases  --connect  jdbc:mysql://neusoft-master:3306/  --username  sqoop  --password  sqooppwd
  • 执行完后,即可显示MySql数据库中所有实例:

  hive

  mysql

  sqoop

  test

 

END~

 

发布评论

分享到:

IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

搭建maven开发环境测试Hadoop组件HDFS文件系统的一些命令详解
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。