「javaurl抓取」java如何获取url后面参数
今天给各位分享javaurl抓取的知识，其中也会对java如何获取url后面参数进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！
本文目录一览：
- 1、java中 如何获取客户端请求的url
- 2、java如何自动获取url
- 3、java怎样获取url参数
- 4、java 怎么获取一个url最终指向了哪里？
- 5、java根据url抓取html页面内容，怎么解析chunked 方式
- 6、java获取URL
java中 如何获取客户端请求的url
在servlet中的request对象中有url，可以用方法 getRequestURI（）.
如果在程序中得不到该请求的request对象 那就得不到。
所以得到url的 关键是 先得到 request
java如何自动获取url
什么叫自动获取？
如果想用java访问 http连接的话
1.创建连接：
URL url = new URL("");
2.打开连接，获取连接输入流。
InputStream in = url.openConnection().getInputStream();
3.解析流。
System.out.println(IOUtils.toString(in));//输出访问地址内容。。
java怎样获取url参数
public static MapString, String toMap(String url) {
MapString, String map = null;
if (url != null url.indexOf("") -1 url.indexOf("=") -1) {
map = new HashMapString, String();
String[] arrTemp = url.split("");
for (String str : arrTemp) {
String[] qs = str.split("=");
map.put(qs[0], qs[1]);
}
}
return map;
}
public static String getQueryString(String url, String name) {
return StringUtils.toMap(url).get(name);
}
String qs = getQueryString(url, "action");
java 怎么获取一个url最终指向了哪里？
java中确定url指向最终是靠页面跳转实现的。
一、跳转到新页面，并且是在新窗口中打开页面:
function openHtml()
{
//do someghing here...
window.open("xxxx.html");
}
window是一个javascript对象，可以用它的open方法，需要注意的是，如果这个页面不是一相相对路径，那么要加“http://”，比如：
function openHtml()
{
window.open("");
}
二、在本页面窗口中跳转：
function totest2()
{
window.location.assign("test2.html");
}
如果直接使用location.assgin()也可以，但是window.location.assign()更合理一些，当前窗口的location对象的assign()方法。
另外，location对象还有一个方法replace()也可以做页面跳转，它跟assign()方法的区别在于：
replace() 方法不会在 History 对象中生成一个新的纪录。当使用该方法时，新的 URL 将覆盖 History 对象中的当前纪录。
java根据url抓取html页面内容，怎么解析chunked 方式
先获取页面
String html = getContent(url, Constants.ENCODING_UTF8);
解析页面 Document doc=Jsoup.parse(html);
然后你获取相应的标签String tag =doc.getElementsByTag("title").first().text();
如果标签很多不一样你就得判断了,还有看看有什么相同的地方吧,我抓取网页数据的时候最烦的就是格式不一样的,好多标签不一样的,只能判断,找到共同点,个别的单个处理,
java获取URL
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
public class GetLinks {
private String webSource;
private String url;
public GetLinks(String url) throws MalformedURLException, IOException {
this.url = Complete(url);
webSource = getWebCon(this.url);
}
private String getWebCon(String strURL) throws MalformedURLException,
IOException {
StringBuffer sb = new StringBuffer();
java.net.URL url = new java.net.URL(strURL);
BufferedReader in = new BufferedReader(new InputStreamReader(url
.openStream()));
String line;
while ((line = in.readLine()) != null) {
sb.append(line);
}
in.close();
return sb.toString();
}
private String Complete(String link)throws MalformedURLException{
URL url1 = new URL(link);
URL url2 = new URL(link+"/");
String handledUrl = link;
try{
StringBuffer sb1 = new StringBuffer();
BufferedReader in1 = new BufferedReader(new InputStreamReader(url1
.openStream()));
String line1;
while ((line1 = in1.readLine()) != null) {
sb1.append(line1);
}
in1.close();
StringBuffer sb2 = new StringBuffer();
BufferedReader in2 = new BufferedReader(new InputStreamReader(url2
.openStream()));
String line2;
while ((line2 = in2.readLine()) != null) {
sb2.append(line2);
}
in1.close();
if(sb1.toString().equals(sb2.toString())){
handledUrl = link+"/";
}
}catch(Exception e){
handledUrl = link;
}
return handledUrl;
}
/**
* 处理链接的相对路径
* @param link 相对路径或绝对路径
* @return 绝对路径
*/
private String urlHandler(String link) {
if (link == null)
return null;
link = link.trim();
if (link.toLowerCase().startsWith("http://")
|| link.toLowerCase().startsWith("https://")) {
return link;
}
String pare = url.trim();
if (!link.startsWith("/")) {
if (pare.endsWith("/")) {
return pare + link;
}
if (url.lastIndexOf("/") == url.indexOf("//") + 1 || url.lastIndexOf("/") == url.indexOf("//") + 2) {
return pare + "/" + link;
} else {
int lastSeparatorIndex = url.lastIndexOf("/");
return url.substring(0, lastSeparatorIndex + 1) + link;
}
}else{
if (url.lastIndexOf("/") == url.indexOf("//") + 1 || url.lastIndexOf("/") == url.indexOf("//") + 2) {
return pare + link;
}else{
return url.substring(0,url.indexOf("/", url.indexOf("//")+3)) + link;
}
}
}
public ListString getAnchorTagUrls() {
if (webSource == null) {
System.out.println("没有网页源代码");
return null;
}
ArrayListString list = new ArrayListString();
int index = 0;
while (index != -1) {
index = webSource.toLowerCase().indexOf("a ", index);
if (index != -1) {
int end = webSource.indexOf("", index);
String str = webSource.substring(index, end == -1 ? webSource
.length() : end);
str = str.replaceAll("\\s*=\\s*", "=");
if (str.toLowerCase().matches("^a.*href\\s*=\\s*[\'|\"]?.*")) {// "^a\\s+\\w*\\s*href\\s*=\\s*[\'|\"]?.*"
int hrefIndex = str.toLowerCase().indexOf("href=");
int leadingQuotesIndex = -1;
if ((leadingQuotesIndex = str.indexOf("\"", hrefIndex
+ "href=".length())) != -1) { // 形如a
// href="....."
int TrailingQuotesIndex = str.indexOf("\"",
leadingQuotesIndex + 1);
TrailingQuotesIndex = TrailingQuotesIndex == -1 ? str
.length() : TrailingQuotesIndex;
str = str.substring(leadingQuotesIndex + 1,
TrailingQuotesIndex);
str = urlHandler(str);
list.add(str);
System.out.println(str);
index += "a ".length();
continue;
}
if ((leadingQuotesIndex = str.indexOf("\'", hrefIndex
+ "href=".length())) != -1) { // 形如a
// href='.....'
int TrailingQuotesIndex = str.indexOf("\'",
leadingQuotesIndex + 1);
TrailingQuotesIndex = TrailingQuotesIndex == -1 ? str
.length() : TrailingQuotesIndex;
str = str.substring(leadingQuotesIndex + 1,
TrailingQuotesIndex);
str = urlHandler(str);
System.out.println(str);
list.add(str);
index += "a ".length();
continue;
}
int whitespaceIndex = str.indexOf(" ", hrefIndex
+ "href=".length()); // 形如a href=
//
whitespaceIndex = whitespaceIndex == -1 ? str.length()
: whitespaceIndex;
str = str.substring(hrefIndex + "href=".length(),
whitespaceIndex);
str = urlHandler(str);
list.add(str);
System.out.println(str);
}
index += "a ".length();
}
}
return list;
}
public static void main(String[] args) throws Exception {
GetLinks gl = new GetLinks("");
ListString list = gl.getAnchorTagUrls();
for(String str:list) {
System.out.println(str);
}
}
}
javaurl抓取的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于java如何获取url后面参数、javaurl抓取的信息别忘了在本站进行查找喔。