「用java操作hive」java的使用方法

今天给各位分享用java操作hive的知识，其中也会对java的使用方法进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、求助java怎么把HBase数据读出并导入Hive中
• 2、Hive入门概述
• 3、如何在Java中执行Hive命令或HiveQL
• 4、一招教你使用Hive处理文本数据
• 5、java连接Hive的几种方式

求助java怎么把HBase数据读出并导入Hive中

方法有两种： 1.一种是通过Java，直接读取数据，然后在插入hive中 2.第二种是整合hbase，hive。 整合后，再创建一个表，然后将数据导入新建的hive表中

Hive入门概述

1.1 什么是Hive

Hive：由Facebook开源用于解决海量结构化日志的数据统计。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序

Hive处理的数据存储在HDFS

Hive分析数据底层的实现是MapReduce

执行程序运行在Yarn上

1.2 Hive的优缺点

1.2.1 优点

操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。

避免了去写MapReduce，减少开发人员的学习成本。

Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。

Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

1.2.2 缺点

1．Hive的HQL表达能力有限

（1）迭代式算法无法表达

（2）数据挖掘方面不擅长

2．Hive的效率比较低

（1）Hive自动生成的MapReduce作业，通常情况下不够智能化

（2）Hive调优比较困难，粒度较粗

1.3 Hive架构原理

1．用户接口：Client

CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

2．元数据：Metastore

元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

默认存储在自带的derby数据库中，推荐使用MySQL替代derby存储Metastore

3．Hadoop

使用HDFS进行存储，使用MapReduce进行计算。

4．驱动器：Driver

（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。

（2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。

（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。

（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。

1.4 Hive和数据库比较

由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。

1.4.1 查询语言

由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。

1.4.2 数据存储位置

Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。

1.4.3 数据更新

由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO … VALUES 添加数据，使用 UPDATE … SET修改数据。

1.4.4 索引

Hive在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些Key建立索引。Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于 MapReduce 的引入， Hive 可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive 仍然可以体现出优势。数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了 Hive 不适合在线数据查询。

1.4.5 执行

Hive中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的。而数据库通常有自己的执行引擎。

1.4.6 执行延迟

Hive 在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce框架。由于MapReduce 本身具有较高的延迟，因此在利用MapReduce 执行Hive查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。

1.4.7 可扩展性

由于Hive是建立在Hadoop之上的，因此Hive的可扩展性是和Hadoop的可扩展性是一致的（世界上最大的Hadoop 集群在 Yahoo!，2009年的规模在4000 台节点左右）。而数据库由于 ACID 语义的严格限制，扩展行非常有限。目前最先进的并行数据库 Oracle 在理论上的扩展能力也只有100台左右。

1.4.8 数据规模

由于Hive建立在集群上并可以利用MapReduce进行并行计算，因此可以支持很大规模的数据；对应的，数据库可以支持的数据规模较小。

如何在Java中执行Hive命令或HiveQL

这里所说的在Java中执行Hive命令或HiveQL并不是指hive Client通过JDBC的方式连接HiveServer(or HiveServer2)执行查询，而是简单的在部署了HiveServer的服务器上执行Hive命令。当然这是一个简单的事情，平常我们通过Hive做简单的数据分析实验的时候，都是直接进入Hive执行HiveQL，那我们为什么还要在程序中执行呢?

通过进入Hive执行HiveQL，我们只能将分析结果打印到屏幕或是存入临时表，那如果我们想吧分析结果写入文件，或者我们想对分析结果做进一步的分析，用程序做分析，该怎么办?这就是为什么要在Java中执行Hive命令。

Java在1.5过后提供了ProcessBuilder根据运行时环境启动一个Process调用执行运行时环境下的命令或应用程序(1.5以前使用Runtime)，关于ProcessBuilder请参考Java相关文档。调用代码如下：

其中command可以是其它Hive命令，不一定是HiveQL。

一招教你使用Hive处理文本数据

我在学习了几个月的大数据之后，终于接到了老板派来的活啦！有核心技术在手，感觉走路都轻快了许多呢。这个需求呢实际上非常简单且明确。

现在老板需要我对招聘市场不同岗位的核心技能点做一个调研，现在我们手上大概有一些数据，数据是一些招聘相关的数据，在数据中有一个字段为岗位描述，顾名思义，找过工作的同学都能知道岗位描述是啥意思，尤其是像你们没学大数据的同学，可能已经翻看了无数工作机会还没有找到工作吧吼吼，我学习完大数据之后可是立马找到工作了呢。

岗位描述实际就是一段话，表示这个岗位需要应聘者具备某些能力或者技能来足以胜任这份工作。有了这个数据，我初步的调研方案是这样的：

针对性的分析这个字段的数据，把其中所有的关键词给取出来，然后按照每一条数据对应的岗位，根据岗位进行分组计数，那样的话我就可以得出每一个岗位对应的每一个关键词出现的次数了，然后当然出现次数最多的那几个关键词就是该岗位的核心技能关键词啦。计划非常完美。

现在的我满脑子都是将任务完美完成，然后得到老板赏识，升职加薪，迎娶白富美的桥段。可是万事俱备，只欠东风。有一个非常重要的问题就是如何将一堆文本（岗位描述）转换成一个个的词？也就是我们常说的分词，今天我们就来介绍一下如何完美地完成这个任务。干货时间到。

首先这次任务咱们使用Hive来进行数据处理和分析，通过查询Hive文档发现Hive内置函数无法实现分词，但是Hive提供UDF支持用户自定义函数来实现更多的功能。开发UDF的过程大致分为（使用Java语言）：

创建一个用于编写UDF的Maven项目导入相关大数据依赖，其中最重要的是hive-exec和hadoop-common创建一个类并且继承自UDF类重写类中的evaluate()方法，并且在方法中定义逻辑对Maven项目进行打包，将jar包上传至HDFS中在Hive中添加方法关联该jar包中的UDF类，之后就可以使用该方法实现想要的功能了需要注意的是，继承自UDF类，evaluate()方法的输入是一条数据，输出也是一条数据，可以想象一下就是在Hive中一条数据进来，经过转换后返回一条转换后的数据，这与我们常用的lower()/upper()函数类似。在Hive中，还有其他形式的自定义函数类，比如UDAF、UDTF，其中UDAF是多行输入返回一行，例如聚合函数sum()/count()，UDTF是一行输入返回多行，例如爆炸函数explode()。具体详情同学们自行搜索学习吧。

下面开始编写分词的UDF，首先当然是导入相关依赖了，实现分词的库有很多，我选择的是java常用的IK分词器，依赖的名称是ikanalyzer。

之后我们可以定义相关的黑名单词和偏好词，因为我们要最终得到我们想要的关键词，那么们最好把一些没什么用的词去掉，例如“我的”，“岗位”，“很好”等等这一系列词存放成黑名单，因为最后我们不想把得出来的关键词是这种没有意义的词。当然偏好词也有必要，因为分词工具都是通过一定的语料和算法来进行分词的，它有时候也会将一些词分错，例如“机器学习”这个词，可能分词工具会将它分为“机器”“学习”这两个词，但是很明显对于岗位来说，这明显就是一个技能词，所以我们将这种专有名词设置成偏好词让分词器下次遇到这些词的时候不要分错。

将停止词放入stopword.dic中，将偏好词放入extword.dic中，每一个词占一行即可，然后在IKAnalyzer.cfg.xml中配置这两个文件的路径，之后IK分词器就会自动的加载我们自定义的停止词和偏好词了。

接下来编写主类UDF。

UDF的大致意思就是对传入的字符串做分词，分词后在通过特殊符号“\001”来对每一个词进行拼接，最终返回一个拼接好的字符串。

根据开发UDF的步骤，将UDF打成jar包并上传到HDFS，并在Hive中创建方法关联该jar包。

总之使用HiveSQL一通十三招将所有的任务完成，SQL在这就不给大伙儿解释了，最终我们由原始数据，得到了最终我们想要的数据。

从我们对数据的处理和分析结果来看，算法岗位（job_tag）对关键字（sub）“算法”、“c++”、“机器学习”这些技术都有相当大的需求，因为在算法岗位描述中，“算法”这个词出现6366次，“c++”出现3706次，“机器学习”出现3385次，都是出现次数最高的几个关键词。

今天我的分享就到这啦，你学会了吗？

java连接Hive的几种方式

2、JDBC连接的方式，当然还有其他的连接方式，比如ODBC等， 这种方式很常用，可以在网上随便找到，就不再累赘了。不稳定，经常会被大数据量冲挂，不建议使用。 3、这种方式是直接利用Hive的 Driver class 来直接连接，感觉这种方式不通过JDBC，应该速度会比较快一点（未经验证）。我只是在local模式下测试过。

关于用java操作hive和java的使用方法的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。