在Azure HDInsight HBase集群中使用Thrift接口-白红宇

在Azure HDInsight HBase集群中使用Thrift接口

阅读量：6239 次

发布时间：2019-06-22

本文共 2655 字，大约阅读时间需要 8 分钟。

Wed, Feb 25 2015 2:17 AM

是一种可扩展的跨语言服务接口，可以通过内置的代码生成引擎帮助创建跨语言服务类库，也是通过Thrift sever与Python，Ruby等其他程序开发语言进行交互。但是默认情况下Thrift Server默认不是启动的，需要手工处理一下。在Azure HDInight HBase中这种处理的方式有2种，我们可以根据使用场景来进行配置。

第一种方法相对简单，我们可以通过RDP远程连接到HeadNode0上，通过命令行hbase thrift2 start的方法启动thrift server进程。这种方法很简单，但是并不能能满足高可用的要求，只能用于开发测试环境。

第二种方法会复杂很多，但是可以提供生产级别的可用性，可扩展性要求。

创建2个Linux VM并将Azure HDInsight HBase集群部署到相同的虚拟网络上

在VM中设置$JAVA_HOME

在VM中配置repositories wget -nv -O /etc/yum.repos.d/hdp.repo

在VM中安装HBase sudo yum install hbase

在VM中修改hbase-site.xml,主要是提供zookeeper的地址，可以通过DNS或者host文件的方法提供这些zookeeper及workernode的名字解析，zookeeper以及workernode的名称可以通过得到

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.zookeeper.quorum</name>

<value>zookeeper0.hbase.hdicluster.local,zookeeper1.hbase.hdicluster.local,zookeeper2.hbase.hdicluster.local</value>

</property>

<name>hbase.zookeeper.property.clientPort</name>

</property>

</configuration>

配置服务进程，我们需要在/etc/init.d目录下添加一个名称为hbase-thrift2的服务启动脚本

#!/bin/sh

chkconfig :2345 90 60

description : hbase thrift gateway service, port 9090

./etc/init.d/functions

FriendlyName="HBase Thrift Gataway"

RETVAL=0

start()

{

echo

-n $"Starting $FriendlyName:"

/usr/hdp/2.2.0.0-2041/hbase/bin/hbase-daemon.sh thrift2 -threadpool &

}

stop()

{

echo

-n $"Stopping $FriendlyName"

/usr/hdp/2.2.0.0-2041/hbase/bin/hbase-daemon.sh stop thrift2

RETVAL=$?

echo

return

$RETVAL

}

case

"$1" in

start)

start

;;

stop)

stop

;;

restart)

stop

start

;;

echo

$"Usage $0 {start|stop|restart}

RETVAL=1

esac

exit

$RETVAL

更改脚本的执行权限

sudo chmod +x hbase-thrift2

将服务设置为自动启动

sudo chkconfig --add hbase-thrift2

sudo chkconfig hbase-thrift2 on

将2个VM放置于同一个高可用集中

通过Internal Loadbalancer为这2个VM提供负载均衡，同时也兼具HA的功能

Add-AzureInternalLoadBalancer-ServiceName$svcName-InternalLoadBalancerName$ilb-SubnetName$subnet

$prot="tcp"

$locport=9090

$pubport=9090

$epname="Thrift2"

$vmname01 = "hbthrift01"

$vmname02 = "hbthrift02"

$lbsetname="HBThriftLBSet"

Get-AzureVM -ServiceName$svcName-Name$vmname01|Add-AzureEndpoint-LBSetName$lbsetname-Name$epname-Protocol$prot-LocalPort$locport-PublicPort$pubport-ProbePort$locport-ProbeProtocol$prot-InternalLoadBalancerName$ilb|Update-AzureVM

Get-AzureVM -ServiceName$svcName-Name$vmname02|Add-AzureEndpoint-LBSetName$lbsetname-Name$epname-Protocol$prot-LocalPort$locport-PublicPort$pubport-ProbePort$locport-ProbeProtocol$prot-InternalLoadBalancerName$ilb|Update-AzureVM