javaimpala的简单介绍
本篇文章给大家谈谈javaimpala，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。
本文目录一览：
- 1、什么是impala，如何安装使用Impala
- 2、为什么Impala要使用C++语言,而不是Java?
- 3、Hadoop下的impala数据库语法SQL应用
- 4、impala为什么比hive快
- 5、使用jdbc查询impala时的超时问题
什么是impala，如何安装使用Impala
一、Impala简介
Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
二、Impala安装
1.安装要求
（1）软件要求
Red Hat Enterprise Linux (RHEL)/CentOS 6.2 (64-bit)
CDH 4.1.0 or later
Hive
MySQL
（2）硬件要求
在Join查询过程中需要将数据集加载内存中进行计算，因此对安装Impalad的内存要求较高。
2、安装准备
（1）操作系统版本查看
more/etc/issue
CentOSrelease 6.2 (Final)
Kernel \ron an \m
（2）机器准备
10.28.169.112mr5
10.28.169.113mr6
10.28.169.114mr7
10.28.169.115mr8
各机器安装角色
mr5：NameNode、ResourceManager、SecondaryNameNode、Hive、impala-state-store
mr6、mr7、mr8：DataNode、NodeManager、impalad
（3）用户准备
在各个机器上新建用户hadoop，并打通ssh
（4）软件准备
到cloudera官网下载：
Hadoop：
hadoop-2.0.0-cdh4.1.2.tar.gz
hive：
hive-0.9.0-cdh4.1.2.tar.gz
impala：
impala-0.3-1.p0.366.el6.x86_64.rpm
impala-debuginfo-0.3-1.p0.366.el6.x86_64.rpm
impala-server-0.3-1.p0.366.el6.x86_64.rpm
impala-shell-0.3-1.p0.366.el6.x86_64.rpm
impala依赖包下载：
4、hadoop-2.0.0-cdh4.1.2安装
（1）安装包准备
hadoop用户登录到mr5机器，将hadoop-2.0.0-cdh4.1.2.tar.gz上传到/home/hadoop/目录下并解压：
tar zxvf hadoop-2.0.0-cdh4.1.2.tar.gz
（2）配置环境变量
修改mr5机器hadoop用户主目录/home/hadoop/下的.bash_profile环境变量：
exportJAVA_HOME=/usr/jdk1.6.0_30
exportJAVA_BIN=${JAVA_HOME}/bin
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_OPTS="-Djava.library.path=/usr/local/lib-server -Xms1024m -Xmx2048m -XX:MaxPermSize=256m -Djava.awt.headless=true-Dsun.net.client.defaultReadTimeout=600
00-Djmagick.systemclassloader=no -Dnetworkaddress.cache.ttl=300-Dsun.net.inetaddr.ttl=300"
exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2
exportHADOOP_PREFIX=$HADOOP_HOME
exportHADOOP_MAPRED_HOME=${HADOOP_HOME}
exportHADOOP_COMMON_HOME=${HADOOP_HOME}
exportHADOOP_HDFS_HOME=${HADOOP_HOME}
exportHADOOP_YARN_HOME=${HADOOP_HOME}
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS
exportHADOOP_LIB=${HADOOP_HOME}/lib
exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
（3）修改配置文件
在机器mr5上hadoop用户登录修改hadoop的配置文件(配置文件目录：hadoop-2.0.0-cdh4.1.2/etc/hadoop)
(1)、slaves :
添加以下节点
mr6
mr7
mr8
(2)、hadoop-env.sh :
增加以下环境变量
exportJAVA_HOME=/usr/jdk1.6.0_30
exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2
exportHADOOP_PREFIX=${HADOOP_HOME}
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
exportHADOOP_COMMON_HOME=${HADOOP_HOME}
exportHADOOP_HDFS_HOME=${HADOOP_HOME}
exportHADOOP_YARN_HOME=${HADOOP_HOME}
exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS
exportHADOOP_LIB=${HADOOP_HOME}/lib
exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
(3)、core-site.xml :
fs.default.name
hdfs://mr5:9000
The name of the defaultfile system.Either the literal string "local" or a host:port forNDFS.
true
io.native.lib.available
true
hadoop.tmp.dir
/home/hadoop/tmp
A base for other temporarydirectories.
(4)、hdfs-site.xml :
dfs.namenode.name.dir
file:/home/hadoop/dfsdata/name
Determines where on thelocal filesystem the DFS name node should store the name table.If this is acomma-delimited list of directories,then name table is replicated in all of thedirectories,for redundancy.
true
dfs.datanode.data.dir
file:/home/hadoop/dfsdata/data
Determines where on thelocal filesystem an DFS data node should store its blocks.If this is acomma-delimited list of directories,then data will be stored in all nameddirectories,typically on different devices.Directories that do not exist areignored.
true
dfs.replication
3
dfs.permission
false
(5)、mapred-site.xml:
mapreduce.framework.name
yarn
mapreduce.job.tracker
hdfs://mr5:9001
true
mapreduce.task.io.sort.mb
512
mapreduce.task.io.sort.factor
100
mapreduce.reduce.shuffle.parallelcopies
50
mapreduce.cluster.temp.dir
file:/home/hadoop/mapreddata/system
true
mapreduce.cluster.local.dir
file:/home/hadoop/mapreddata/local
true
(6)、yarn-env.sh :
增加以下环境变量
exportJAVA_HOME=/usr/jdk1.6.0_30
exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2
exportHADOOP_PREFIX=${HADOOP_HOME}
exportHADOOP_MAPRED_HOME=${HADOOP_HOME}
exportHADOOP_COMMON_HOME=${HADOOP_HOME}
exportHADOOP_HDFS_HOME=${HADOOP_HOME}
exportHADOOP_YARN_HOME=${HADOOP_HOME}
exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS
exportHADOOP_LIB=${HADOOP_HOME}/lib
exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
(7)、yarn-site.xml：
yarn.resourcemanager.address
mr5:8080
yarn.resourcemanager.scheduler.address
mr5:8081
yarn.resourcemanager.resource-tracker.address
mr5:8082
yarn.nodemanager.aux-services
mapreduce.shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.nodemanager.local-dirs
file:/home/hadoop/nmdata/local
thelocal directories used by the nodemanager
yarn.nodemanager.log-dirs
file:/home/hadoop/nmdata/log
thedirectories used by Nodemanagers as log directories
（4）拷贝到其他节点
(1)、在mr5上配置完第2步和第3步后，压缩hadoop-2.0.0-cdh4.1.2
rm hadoop-2.0.0-cdh4.1.2.tar.gz
tar zcvf hadoop-2.0.0-cdh4.1.2.tar.gz hadoop-2.0.0-cdh4.1.2
然后将hadoop-2.0.0-cdh4.1.2.tar.gz远程拷贝到mr6、mr7、mr8机器上
scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr6:/home/hadoop/
scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr7:/home/hadoop/
scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr8:/home/hadoop/
(2)、将mr5机器上hadoop用户的配置环境的文件.bash_profile远程拷贝到mr6、mr7、mr8机器上
scp/home/hadoop/.bash_profile hadoop@mr6:/home/hadoop/
scp/home/hadoop/.bash_profile hadoop@mr7:/home/hadoop/
scp/home/hadoop/.bash_profile hadoop@mr8:/home/hadoop/
拷贝完成后，在mr5、mr6、mr7、mr8机器的/home/hadoop/目录下执行
source.bash_profile
使得环境变量生效
（5）启动hdfs和yarn
以上步骤都执行完成后，用hadoop用户登录到mr5机器依次执行：
hdfsnamenode -format
start-dfs.sh
start-yarn.sh
通过jps命令查看：
mr5成功启动了NameNode、ResourceManager、SecondaryNameNode进程；
mr6、mr7、mr8成功启动了DataNode、NodeManager进程。
（6）验证成功状态
通过以下方式查看节点的健康状态和作业的执行情况：
浏览器访问(本地需要配置hosts)
5、hive-0.9.0-cdh4.1.2安装
（1）安装包准备
使用hadoop用户上传hive-0.9.0-cdh4.1.2到mr5机器的/home/hadoop/目录下并解压：
tar zxvf hive-0.9.0-cdh4.1.2
（2）配置环境变量
在.bash_profile添加环境变量：
exportHIVE_HOME=/home/hadoop/hive-0.9.0-cdh4.1.2
exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin
exportHIVE_CONF_DIR=$HIVE_HOME/conf
exportHIVE_LIB=$HIVE_HOME/lib
添加完后执行以下命令使得环境变量生效：
..bash_profile
（3）修改配置文件
修改hive配置文件(配置文件目录：hive-0.9.0-cdh4.1.2/conf/)
在hive-0.9.0-cdh4.1.2/conf/目录下新建hive-site.xml文件，并添加以下配置信息：
hive.metastore.local
true
javax.jdo.option.ConnectionURL
jdbc:mysql://10.28.169.61:3306/hive_impala?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
hadoop
javax.jdo.option.ConnectionPassword
123456
hive.security.authorization.enabled
false
hive.security.authorization.createtable.owner.grants
ALL
hive.querylog.location
${user.home}/hive-logs/querylog
（4）验证成功状态
完成以上步骤之后，验证hive安装是否成功
在mr5命令行执行hive，并输入”show tables;”，出现以下提示，说明hive安装成功：
hive
hiveshow tables;
OK
Time taken:18.952 seconds
hive
6、impala安装
说明：
(1)、以下1、2、3、4步是在root用户分别在mr5、mr6、mr7、mr8下执行
(2)、以下第5步是在hadoop用户下执行
（1）安装依赖包：
安装mysql-connector-java：
yum install mysql-connector-java
安装bigtop
rpm -ivh bigtop-utils-0.4+300-1.cdh4.0.1.p0.1.el6.noarch.rpm
安装libevent
rpm -ivhlibevent-1.4.13-4.el6.x86_64.rpm
如存在其他需要安装的依赖包，可以到以下链接：
进行下载。
（2）安装impala的rpm，分别执行
rpm -ivh impala-0.3-1.p0.366.el6.x86_64.rpm
rpm -ivh impala-server-0.3-1.p0.366.el6.x86_64.rpm
rpm -ivh impala-debuginfo-0.3-1.p0.366.el6.x86_64.rpm
rpm -ivh impala-shell-0.3-1.p0.366.el6.x86_64.rpm
（3）找到impala的安装目录
完成第1步和第2步后，通过以下命令：
find / -name impala
输出：
/usr/lib/debug/usr/lib/impala
/usr/lib/impala
/var/run/impala
/var/log/impala
/var/lib/alternatives/impala
/etc/default/impala
/etc/alternatives/impala
找到impala的安装目录：/usr/lib/impala
（4）配置Impala
在Impala安装目录/usr/lib/impala下创建conf，将hadoop中的conf文件夹下的core-site.xml、hdfs-site.xml、hive中的conf文件夹下的hive-site.xml复制到其中。
在core-site.xml文件中添加如下内容：
dfs.client.read.shortcircuit
true
dfs.client.read.shortcircuit.skip.checksum
false
在hadoop和impala的hdfs-site.xml文件中添加如下内容并重启hadoop和impala：
dfs.datanode.data.dir.perm
755
dfs.block.local-path-access.user
hadoop
dfs.datanode.hdfs-blocks-metadata.enabled
true
（5）启动服务
(1)、在mr5启动Impala state store，命令如下：
GLOG_v=1 nohup statestored-state_store_port=24000
如果statestore正常启动，可以在/tmp/statestored.INFO查看。如果出现异常，可以查看/tmp/statestored.ERROR定位错误信息。
(2)、在mr6、mr7、mr8启动Impalad，命令如下：
mr6：
GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr6 -ipaddress=10.28.169.113
mr7：
GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr7 -ipaddress=10.28.169.114
mr8：
GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr8 -ipaddress=10.28.169.115
如果impalad正常启动，可以在/tmp/impalad.INFO查看。如果出现异常，可以查看/tmp/ impalad.ERROR定位错误信息。
（6）使用shell
使用impala-shell启动Impala Shell，分别连接各Impalad主机(mr6、mr7、mr8)，刷新元数据，之后就可以执行shell命令。相关的命令如下(可以在任意节点执行)：
impala-shell
[Not connected] connect mr6:21000
[mr6:21000] refresh
[mr6:21000]connectmr7:21000
[mr7:21000]refresh
[mr7:21000]connectmr8:21000
[mr8:21000]refresh
（7）验证成功状态
使用impala-shell启动Impala Shell，分别连接各Impalad主机，刷新元数据，之后就可以执行shell命令。相关的命令如下(可以在任意节点执行)：
impala-shell
[Not connected] connect mr6:21000
[mr6:21000]refresh
[mr6:21000] show databases
default
[mr6:21000]
出现以上提示信息，说明安装成功。
为什么Impala要使用C++语言,而不是Java?
Impala的最大特点也是最大卖点就是它的快速
因为c++直接编译成机器指令的，执行效率相对java要高一些，java是在jvm虚拟机里运行的，效率相对c++要低一些。
就好比苹果手机和android手机一样，android用java开发的app体验总的来说流畅度还是没有objective-c、swift编写的app（objective-c、swift也是编译成机器指令的）好
Hadoop下的impala数据库语法SQL应用
Impala的SQL解析与执行计划生成部分是由impala-frontend（Java）实现的，监听端口是21000。用户通过Beeswax接口BeeswaxService.query()提交一个请求，在impalad端的处理逻辑是由void ImpalaServer::query(QueryHandle query_handle, const Query query)这个函数（在impala-beeswax-server.cc中实现）完成的。
在impala中一条SQL语句先后经历BeeswaxService.Query-TClientRequest-TExecRequest，最后把TExecRequest交由impala-coordinator分发给多个backend处理。本文主要讲一条SQL语句是怎么一步一步变成TExecRequest的。
impala为什么比hive快
Impala自称数据查询效率比Hive快几倍甚至数十倍，它之所以这么快的原因大致有以下几点：
真正的MPP查询引擎。
使用C++开发而不是Java，降低运行负荷。
运行时代码生成（LLVM IR），提高效率。
全新的执行引擎（不是Mapreduce）。
在执行SQL语句的时候，Impala不会把中间数据写入到磁盘，而是在内存中完成了所有的处理。
使用Impala的时候，查询任务会马上执行而不是生产Mapreduce任务，这会节约大量的初始化时间。
Impala查询计划解析器使用更智能的算法在多节点上分布式执行各个查询步骤，同时避免了sorting和shuffle这两个非常耗时的阶段，这两个阶段往往是不需要的。
Impala拥有HDFS上面各个data block的信息，当它处理查询的时候能够在各个datanode上面更均衡的分发查询。
另外一个关键原因是，Impala为每个查询产生汇编级的代码，当Impala在本地内存中运行的时候，这些汇编代码执行效率比其它任何代码框架都更快，因为代码框架会增加额外的延迟。
使用jdbc查询impala时的超时问题
项目中应用服务直接通过jdbc连接impala做数据查询，其他遇到一个问题，查询impala时因为没有设置查询超时，有些大sql一直占用连接，同时这个sql在impala集群中执行着，也占用了impala集群的资源，这样挤压了其他sql的响应。所以这时候设置查询超时，让连接断开，空闲出集群资源能够很大程度上提升服务的稳定性。
连接impala的jdbc主要有cloudera jdbc和hive jdbc。因为需要使用kerberos认证来连接impala，最开始同事为了简单话选择了hive jdbc，配置kerberos也方便（ 官方推荐 Cloudera JDBC Connector ）。开始用的很爽，但后面发现并不能设置查询超时（Statement.setQueryTime()无效，但是如果通过hive jdbc连接查询hive的话是能够生效的--- HIVE-4924 ，查询impala却不行）。最后想查询下hive jdbc是否还有其他参数能够设置，通过几天的寻找，最终却无果。
后来把目光放在了cloudera jdbc上，通过文档中的参数，发现一个SocketTimeout参数，并在本地尝试了cloudera jdbc配置上SocketTimeout这个参数，在自测过程上都出现了大的查询没有执行完，因为SocketTimeout时间到了而断开并抛出socket timeout exception，当时很开心，以为问题解决了，当把这个拿给同事时，同事试了几次，有时候会timeout断开，有时候却根本不断开，直到sql执行成功返回，基本宣布这个参数失败。
再一次失败后，都快觉得这个问题搞不定了，我觉得不太可能是官方定义了一个不靠谱的参数，更可能是自己理解上面的错误，后来又反复查看了这个参数的解释（The number of seconds after which Impala closes the connection with the client application if the connection is idle），一旦连接空闲超过这个时长，impala就会关闭应该客户端的连接。什么叫connection is idle，以及它为何叫socketTimeout却不是查询超时的英文呢？socket是网络层，而且在参数定义中，说连接空闲，而不是连接占用的时间。有了这些疑问后，又搜索查询了一番，最终在一篇文章中，很详细的解释了jdbc中的 各种timeout 。
通过这篇文章的讲解，我知道我之前在hive jdbc配置的Statement.setQueryTime()是statement timeout，它是依赖于更低基本的socket timeout, impala没有生效的原因很大可能是对于impala的查询statement并没有去处理超时（Statement Timeout Execution Process for JDBC Driver），而对hive查询却做了处理。
而cloudera jdbc提供了socket timeout参数，也在statement timeout提供了超时的处理，即statement查询超时后会中断查询并抛出java.sql.SQLTimeoutException。所以配置上Statement.setQueryTime()，就能够在查询超过timeout值后抛出异常，关闭连接。
最后讲queryTimeOut配置入DataSource，与orm结合，查询超时问题算告一段落。
cloudera jdbc:
query timeout:
带有kerberos验证连接impala：
javaimpala的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、javaimpala的信息别忘了在本站进行查找喔。
发布于：2022-11-22，除非注明，否则均为原创文章，转载请注明出处。