包含odpsjava的词条
今天给各位分享odpsjava的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！
本文目录一览：
- 1、怎样eclipse maven管理的odps
- 2、java中jstl标签使用问题求助
- 3、odps create download session failed怎么解决
- 4、怎么通过java去调用并执行shell脚本以及问题总结
怎样eclipse maven管理的odps
准备工作：
登录阿里云官网，开通odps服务。创建一个odps的project。
安装odps的客户端，具体的方法见 传送门
下载Eclipse并解压缩。建议到官网上下载。作为一个java开发，大家应该是很熟练的。
下载odps的Eclipse插件（把rar文件解压成jar文件）并拷贝到Eclipse解压文件里的plugins文件夹里
准备工作就绪后，开工啦~
打开Eclipse，如果之前jar包拷贝好了，点击圈圈里的地方，会出现如图的框。有看到里面odps的图标，就表示jar包拷贝成功了
java中jstl标签使用问题求助
提示是找不到声明的文件啊
taglib-location/WEB-INF/fn.tld/taglib-location
这里的/WEB-INF/fn.tld没有写错吧?
或者有没有fn.tld这个文件?提示这个tld文件有问题啊，问题很有可能出在这。
总结一下有几点可能:
1.fn.tld中tagclass有没有配好或者路径有没有弄错。
2.web.xml中taglib-location有没有配错tld文件，路径也看看。
3.配完了web.xml重启一下容器!
你再认真找找吧!
odps create download session failed怎么解决
解决方案(以下涉及代码讲解)：
该语句表示传入了错误的参数导致误判为重载，实际检查后，如果确实是参数个数不对或写法有问题，那么多线程下载将‘表’下载到一个目录的多个文件中去，建议单线程下载将表下载到一个目录的一个文件中去。
资料延伸：
odps-jdbc 是 ODPS 官方提供的 JDBC 驱动，它向 Java 程序提供了一套执行 SQL 任务的接口。当年 Java 红遍大江南北靠的就是一句“编写一次，处处运行”，JDBC 也是这种思潮下产物。
目前 hive-jdbc 支持的功能 odps-jdbc 都能够支持，hive-jdbc 不支持的一些功能，例如滚动游标的 ResultSet，也支持了。 我们的目标是使 ODPS 更加开放、灵活和易用。项目托管在 github。欢迎各位开源热心人士积极反馈，贡献代码。
感谢采纳！
怎么通过java去调用并执行shell脚本以及问题总结
对于第一个问题：java抓取，并且把结果打包。那么比较直接的做法就是，java接收各种消息（db，metaq等等），然后借助于jstorm集群进行调度和抓取。
最后把抓取的结果保存到一个文件中，并且通过调用shell打包， 回传。 也许有同学会问，
为什么不直接把java调用odps直接保存文件，答案是，我们的集群不是hz集群，直接上传odps速度很有问题，因此先打包比较合适。（这里不纠结设计了，我们回到正题）
java调用shell的方法
通过ProcessBuilder进行调度
这种方法比较直观，而且参数的设置也比较方便， 比如我在实践中的代码(我隐藏了部分业务代码)：
ProcessBuilderpb = new ProcessBuilder("./" + RUNNING_SHELL_FILE, param1,
param2, param3);
pb.directory(new File(SHELL_FILE_DIR));
int runningStatus = 0;
String s = null;
try {
Process p = pb.start();
try {
runningStatus = p.waitFor();
} catch (InterruptedException e) {
}
} catch (IOException e) {
}
if (runningStatus != 0) {
}
return;
这里有必要解释一下几个参数：
RUNNING_SHELL_FILE：要运行的脚本
SHELL_FILE_DIR：要运行的脚本所在的目录； 当然你也可以把要运行的脚本写成全路径。
runningStatus：运行状态，0标识正常。 详细可以看java文档。
param1, param2, param3：可以在RUNNING_SHELL_FILE脚本中直接通过1,2,$3分别拿到的参数。
直接通过系统Runtime执行shell
这个方法比较暴力，也比较常用， 代码如下：
p = Runtime.getRuntime().exec(SHELL_FILE_DIR + RUNNING_SHELL_FILE + " "+param1+" "+param2+" "+param3);
p.waitFor();
我们发现，通过Runtime的方式并没有builder那么方便，特别是参数方面，必须自己加空格分开，因为exec会把整个字符串作为shell运行。
可能存在的问题以及解决方法
如果你觉得通过上面就能满足你的需求，那么可能是要碰壁了。你会遇到以下情况。
没权限运行
这个情况我们团队的朱东方就遇到了， 在做DTS迁移的过程中，要执行包里面的shell脚本， 解压出来了之后，发现执行不了。 那么就按照上面的方法授权吧
java进行一直等待shell返回
这个问题估计更加经常遇到。 原因是， shell脚本中有echo或者print输出， 导致缓冲区被用完了! 为了避免这种情况， 一定要把缓冲区读一下， 好处就是，可以对shell的具体运行状态进行log出来。 比如上面我的例子中我会变成：
ProcessBuilderpb = new ProcessBuilder("./" + RUNNING_SHELL_FILE, keyword.trim(),
taskId.toString(), fileName);
pb.directory(new File(CASPERJS_FILE_DIR));
int runningStatus = 0;
String s = null;
try {
Process p = pb.start();
BufferedReaderstdInput = new BufferedReader(new InputStreamReader(p.getInputStream()));
BufferedReaderstdError = new BufferedReader(new InputStreamReader(p.getErrorStream()));
while ((s = stdInput.readLine()) != null) {
LOG.error(s);
}
while ((s = stdError.readLine()) != null) {
LOG.error(s);
}
try {
runningStatus = p.waitFor();
} catch (InterruptedException e) {
}
记得在start()之后， waitFor（）之前把缓冲区读出来打log， 就可以看到你的shell为什么会没有按照预期运行。 这个还有一个好处是，可以读shell里面输出的结果， 方便java代码进一步操作。
也许你还会遇到这个问题，明明手工可以运行的命令，java调用的shell中某一些命令居然不能执行，报错：命令不存在！
比如我在使用casperjs的时候，手工去执行shell明明是可以执行的，但是java调用的时候，发现总是出错。
通过读取缓冲区就能发现错误日志了。 我发现即便自己把安装的casperjs的bin已经加入了path中（/etc/profile,
各种bashrc中）还不够。 比如：
exportNODE_HOME="/home/admin/node"
exportCASPERJS_HOME="/home/admin/casperjs"
exportPHANTOMJS_HOME="/home/admin/phantomjs"
exportPATH=$PATH:$JAVA_HOME/bin:/root/bin:$NODE_HOME/bin:$CASPERJS_HOME/bin:$PHANTOMJS_HOME/bin
原来是因为java在调用shell的时候，默认用的是系统的/bin/下的指令。特别是你用root权限运行的时候。 这时候，你要在/bin下加软链了。针对我上面的例子，就要在/bin下加软链：
ln -s /home/admin/casperjs/bin/casperjscasperjs;
ln -s /home/admin/node/bin/nodenode;
ln -s /home/admin/phantomjs/bin/phantomjsphantomjs;
这样，问题就可以解决了。
如果是通过java调用shell进行打包，那么要注意路径的问题了
因为shell里面tar的压缩和解压可不能直接写：
tar -zcf /home/admin/data/result.tar.gz /home/admin/data/result
直接给你报错，因为tar的压缩源必须到路径下面， 因此可以写成
tar -zcf /home/admin/data/result.tar.gz -C /home/admin/data/ result
如果我的shell是在jar包中怎么办？
答案是：解压出来。再按照上面指示进行操作。（1）找到路径
String jarPath = findClassJarPath(ClassLoaderUtil.class);
JarFiletopLevelJarFile = null;
try {
topLevelJarFile = new JarFile(jarPath);
EnumerationJarEntry entries = topLevelJarFile.entries();
while (entries.hasMoreElements()) {
JarEntryentry = entries.nextElement();
if (!entry.isDirectory() entry.getName().endsWith(".sh")) {
对你的shell文件进行处理
}
}
对文件处理的方法就简单了，直接touch一个临时文件，然后把数据流写入，代码：
FileUtils.touch(tempjline);
tempjline.deleteOnExit();
FileOutputStreamfos = new FileOutputStream(tempjline);
IOUtils.copy(ClassLoaderUtil.class.getResourceAsStream(r), fos);
fos.close();
关于odpsjava和的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。