java抓取https的简单介绍

博主：adminadmin 2023-03-21 07:11:09 521

本篇文章给大家谈谈java抓取https，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

java用jpcap怎么识别出http和https的数据包

暂时的解决方法：

在抓到的tcp数据包的data字段里判断是否包含"HTTP"字符串。

不足：

1.与wireshark对比后发现，wireshark有的tcp包中data字段有HTTP也识别为tcp而非http（不知道wireshark是怎么解析的）。

2.感觉会漏判，不够准确。

继续寻找更好的解法，期待解答！

如何使用JAVA请求HTTPS

1.写http请求方法

[java] view plain copy

//处理http请求 requestUrl为请求地址 requestMethod请求方式，值为"GET"或"POST"

public static String httpRequest(String requestUrl,String requestMethod,String outputStr){

StringBuffer buffer=null;

try{

URL url=new URL(requestUrl);

HttpURLConnection conn=(HttpURLConnection)url.openConnection();

conn.setDoOutput(true);

conn.setDoInput(true);

conn.setRequestMethod(requestMethod);

conn.connect();

//往服务器端写内容 也就是发起http请求需要带的参数

if(null!=outputStr){

OutputStream os=conn.getOutputStream();

os.write(outputStr.getBytes("utf-8"));

os.close();

}

//读取服务器端返回的内容

InputStream is=conn.getInputStream();

InputStreamReader isr=new InputStreamReader(is,"utf-8");

BufferedReader br=new BufferedReader(isr);

buffer=new StringBuffer();

String line=null;

while((line=br.readLine())!=null){

buffer.append(line);

}

}catch(Exception e){

e.printStackTrace();

}

return buffer.toString();

}

2.测试。

[java] view plain copy

public static void main(String[] args){

String s=httpRequest("","GET",null);

System.out.println(s);

}

输出结果为的源代码，说明请求成功。

注：1).第一个参数url需要写全地址，即前边的http必须写上，不能只写这样的。

2).第二个参数是请求方式，一般接口调用会给出URL和请求方式说明。

3).第三个参数是我们在发起请求的时候传递参数到所要请求的服务器，要传递的参数也要看接口文档确定格式，一般是封装成json或xml.

4).返回内容是String类，但是一般是有格式的json或者xml。

二：发起https请求。

1.https是对链接加了安全证书SSL的，如果服务器中没有相关链接的SSL证书，它就不能够信任那个链接，也就不会访问到了。所以我们第一步是自定义一个信任管理器。自要实现自带的X509TrustManager接口就可以了。

[java] view plain copy

import java.security.cert.CertificateException;

import java.security.cert.X509Certificate;

import javax.net.ssl.X509TrustManager;

public class MyX509TrustManager implements X509TrustManager {

@Override

public void checkClientTrusted(X509Certificate[] chain, String authType)

throws CertificateException {

// TODO Auto-generated method stub

}

@Override

public void checkServerTrusted(X509Certificate[] chain, String authType)

throws CertificateException {

// TODO Auto-generated method stub

}

@Override

public X509Certificate[] getAcceptedIssuers() {

// TODO Auto-generated method stub

return null;

}

}

注：1)需要的包都是java自带的，所以不用引入额外的包。

2.)可以看到里面的方法都是空的，当方法为空是默认为所有的链接都为安全，也就是所有的链接都能够访问到。当然这样有一定的安全风险，可以根据实际需要写入内容。

2.编写https请求方法。

[java] view plain copy

/*

* 处理https GET/POST请求

* 请求地址、请求方法、参数

* */

public static String httpsRequest(String requestUrl,String requestMethod,String outputStr){

StringBuffer buffer=null;

try{

//创建SSLContext

SSLContext sslContext=SSLContext.getInstance("SSL");

TrustManager[] tm={new MyX509TrustManager()};

//初始化

sslContext.init(null, tm, new java.security.SecureRandom());;

//获取SSLSocketFactory对象

SSLSocketFactory ssf=sslContext.getSocketFactory();

URL url=new URL(requestUrl);

HttpsURLConnection conn=(HttpsURLConnection)url.openConnection();

conn.setDoOutput(true);

conn.setDoInput(true);

conn.setUseCaches(false);

conn.setRequestMethod(requestMethod);

//设置当前实例使用的SSLSoctetFactory

conn.setSSLSocketFactory(ssf);

conn.connect();

//往服务器端写内容

if(null!=outputStr){

OutputStream os=conn.getOutputStream();

os.write(outputStr.getBytes("utf-8"));

os.close();

}

//读取服务器端返回的内容

InputStream is=conn.getInputStream();

InputStreamReader isr=new InputStreamReader(is,"utf-8");

BufferedReader br=new BufferedReader(isr);

buffer=new StringBuffer();

String line=null;

while((line=br.readLine())!=null){

buffer.append(line);

}

}catch(Exception e){

e.printStackTrace();

}

return buffer.toString();

}

可见和http访问的方法类似，只是多了SSL的相关处理。

3.测试。先用http请求的方法访问，再用https的请求方法访问，进行对比。

http访问：

[java] view plain copy

public static void main(String[] args){

String s=httpRequest("","GET",null);

System.out.println(s);

}

结果为：

https访问：

[java] view plain copy

public static void main(String[] args){

String s=httpsRequest("","GET",null);

System.out.println(s);

}

结果为：

可见https的链接一定要进行SSL的验证或者过滤之后才能够访问。

三：https的另一种访问方式——导入服务端的安全证书。

1.下载需要访问的链接所需要的安全证书。 以这个网址为例。

1）在浏览器上访问。

2）点击上图的那个打了×的锁查看证书。

3）选择复制到文件进行导出，我们把它导入到java项目所使用的jre的lib文件下的security文件夹中去，我的是这个路径。D:\Program Files (x86)\Java\jre8\lib\security

注：中间需要选导出格式，就选默认的就行，还需要命名，我命名的是12306.

2.打开cmd,进入到java项目所使用的jre的lib文件下的security目录。

3.在命令行输入 Keytool -import -alias 12306 -file 12306.cer -keystore cacerts

4.回车后会让输入口令，一般默认是changeit,输入时不显示，输入完直接按回车，会让确认是否信任该证书，输入y，就会提示导入成功。

5.导入成功后就能像请求http一样请求https了。

测试：

[java] view plain copy

public static void main(String[] args){

String s=httpRequest("","GET",null);

System.out.println(s);

}

结果：

现在就可以用http的方法请求https了。

注：有时候这一步还是会出错，那可能是jre的版本不对，我们右键run as——run configurations,选择证书所在的jre之后再运行。

java 获取url中是http还是https

先调用 java.net.URL.toURI() 转成 URI

再获取 java.net.URI.getScheme()

示例:

    public static void main(String[] args) throws MalformedURLException,URISyntaxException{

        URL url = new URL("");

        URI uri = url.toURI();

        System.out.println(uri.getScheme());

    }

结果:

https

java如何提取 https页面上的所有内容

public static void main(String[] args){

String s = "div id=\"hao_my_like\" monkey=\"cool\"ba href=\" \"我喜欢的网站：/a/bspan/span/div";

Pattern pattern = Pattern.compile("a .*href=(['\"])(.*)\\1(.*)/a",Pattern.CASE_INSENSITIVE);

Matcher matcher = pattern.matcher(s);

while(matcher.find()){

System.out.println(matcher.group());

System.out.println(matcher.group(2));

System.out.println(matcher.group(3));

}

}

就这个，上面打印的第二行就是链接，第三行就是文字

补充：

Pattern pattern = Pattern.compile("a .*href=(['\"])(.*)\\1(.*)/a",Pattern.CASE_INSENSITIVE);

这个改为

Pattern pattern = Pattern.compile("a .*href=(['\"])(.*)\\1.*(.*)/a",Pattern.CASE_INSENSITIVE);

更能适应一般情况

如何使用fiddler抓取java（Eclipse）的https（httpClient）请求

可使用android自带的httpclient框架实现。

1. GET 方式传递参数

//先将参数放入List，再对参数进行URL编码

ListBasicNameValuePair params = new LinkedListBasicNameValuePair();

params.add(new BasicNameValuePair("param1", "数据")); //增加参数1

params.add(new BasicNameValuePair("param2", "value2"));//增加参数2

String param = URLEncodedUtils.format(params, "UTF-8");//对参数编码

String baseUrl = "服务器接口完整URL";

HttpGet getMethod = new HttpGet(baseUrl + "?" + param);//将URL与参数拼接

HttpClient httpClient = new DefaultHttpClient();

try {

HttpResponse response = httpClient.execute(getMethod); //发起GET请求

Log.i(TAG, "resCode = " + response.getStatusLine().getStatusCode()); //获取响应码

Log.i(TAG, "result = " + EntityUtils.toString(response.getEntity(), "utf-8"));//获取服务器响应内容

} catch (ClientProtocolException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

2. POST方式 方式传递参数

//和GET方式一样，先将参数放入List

params = new LinkedListBasicNameValuePair();

params.add(new BasicNameValuePair("param1", "Post方法"));//增加参数1

params.add(new BasicNameValuePair("param2", "第二个参数"));//增加参数2

try {

HttpPost postMethod = new HttpPost(baseUrl);//创建一个post请求

postMethod.setEntity(new UrlEncodedFormEntity(params, "utf-8")); //将参数填入POST Entity中

HttpResponse response = httpClient.execute(postMethod); //执行POST方法

Log.i(TAG, "resCode = " + response.getStatusLine().getStatusCode()); //获取响应码

Log.i(TAG, "result = " + EntityUtils.toString(response.getEntity(), "utf-8")); //获取响应内容

} catch (UnsupportedEncodingException e) {

e.printStackTrace();

} catch (ClientProtocolException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

java如何获取https协议的客户端ip地址

嗨 你好

据网上了解到：

在JSP里，获取客户端的IP地址的方法是：request.getRemoteAddr（），这种方法在大部分情况下都是有效的。但是在通过了Apache，Squid等反向代理软件就不能获取到客户端的真实IP地址了。

如果使用了反向代理软件，将：2046/ 的URL反向代理为 / 的URL时，用request.getRemoteAddr（）方法获取的IP地址是：127.0.0.1　或　192.168.1.110，而并不是客户端的真实IP。

经过代理以后，由于在客户端和服务之间增加了中间层，因此服务器无法直接拿到客户端的IP，服务器端应用也无法直接通过转发请求的地址返回给客户端。但是在转发请求的HTTP头信息中，增加了X－FORWARDED－FOR信息。用以跟踪原有的客户端IP地址和原来客户端请求的服务器地址。当我们访问 /index.jsp/ 时，其实并不是我们浏览器真正访问到了服务器上的index.jsp文件，而是先由代理服务器去访问：2046/index.jsp ，代理服务器再将访问到的结果返回给我们的浏览器，因为是代理服务器去访问index.jsp的，所以index.jsp中通过request.getRemoteAddr（）的方法获取的IP实际上是代理服务器的地址，并不是客户端的IP地址。

于是可得出获得客户端真实IP地址的方法一：

public String getRemortIP(HttpServletRequest request) { if (request.getHeader("x-forwarded-for") == null) { return request.getRemoteAddr(); } return request.getHeader("x-forwarded-for"); }

可是当我访问 /index.jsp/ 时，返回的IP地址始终是unknown，也并不是如上所示的127.0.0.1　或　192.168.1.110了，而我访问：2046/index.jsp 时，则能返回客户端的真实IP地址，写了个方法去验证。原因出在了Squid上。squid.conf 的配制文件　forwarded_for 项默认是为on，如果 forwarded_for 设成了 off 　则：X-Forwarded-For： unknown

于是可得出获得客户端真实IP地址的方法二：

public String getIpAddr(HttpServletRequest request) { String ip = request.getHeader("x-forwarded-for"); if(ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) { ip = request.getHeader("Proxy-Client-IP"); } if(ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) { ip = request.getHeader("WL-Proxy-Client-IP"); } if(ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) { ip = request.getRemoteAddr(); } return ip; }

可是，如果通过了多级反向代理的话，X-Forwarded-For的值并不止一个，而是一串Ip值，究竟哪个才是真正的用户端的真实IP呢？

答案是取X-Forwarded-For中第一个非unknown的有效IP字符串。

如：X-Forwarded-For：192.168.1.110， 192.168.1.120， 192.168.1.130， 192.168.1.100用户真实IP为： 192.168.1.110

希望可以帮到你的忙

祝你学习愉快

java抓取https的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、java抓取https的信息别忘了在本站进行查找喔。

标签：