「java爬虫数据提取」爬虫提取数据的方法

本篇文章给大家谈谈java爬虫数据提取，以及爬虫提取数据的方法对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、java写网络爬虫，如何爬取在同一个网页中，但是已经被隐藏的div（需要点击显示更多）
• 2、java正则如何提取数据?(网络爬虫)
• 3、java爬虫实时获取页面数据并存入数据库
• 4、java jsoup怎样爬取特定网页内的数据

java写网络爬虫，如何爬取在同一个网页中，但是已经被隐藏的div（需要点击显示更多）

这种是用js实现的。所以后面的内容实际上是动态生成的，网络爬虫抓取的是静态页面。

至于解决办法，网上有几种：

一种是使用自动化测试工具去做，比如selenium，可以模拟点击等操作，但是这个其实和爬虫还是有很大区别的。

二是利用特定的类库在后端调用js，python的倒是有，但是java的我就不清楚了。

三是自己找到相关的页面的js代码，分析出来相关的请求url，直接调新的url就行了，但是一般的js都是加密压缩的，但是你可以试试。

java正则如何提取数据?(网络爬虫)

给你几个代码示例，获取其他标签的内容照着写就是了：

/**

*

* @param s

* @return 获得网页标题

*/

public String getTitle(final String s)

{

String regex;

String title = "";

final ListString list = new ArrayListString();

regex = "title.*?/title";

final Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ);

final Matcher ma = pa.matcher(s);

while (ma.find())

{

list.add(ma.group());

}

for (int i = 0; i list.size(); i++)

{

title = title + list.get(i);

}

return outTag(title);

}

/**

*

* @param s

* @return 获得链接

*/

public ListString getLink(final String s)

{

String regex;

final ListString list = new ArrayListString();

regex = "a[^]*href=(\"([^\"]*)\"|\'([^\']*)\'|([^\\s]*))[^]*(.*?)/a";

final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);

final Matcher ma = pa.matcher(s);

while (ma.find())

{

list.add(ma.group());

}

return list;

}

/**

*

* @param s

* @return 获得脚本代码

*/

public ListString getScript(final String s)

{

String regex;

final ListString list = new ArrayListString();

regex = "script.*?/script";

final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);

final Matcher ma = pa.matcher(s);

while (ma.find())

{

list.add(ma.group());

}

return list;

}

/**

*

* @param s

* @return 获得CSS

*/

public ListString getCSS(final String s)

{

String regex;

final ListString list = new ArrayListString();

regex = "style.*?/style";

final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);

final Matcher ma = pa.matcher(s);

while (ma.find())

{

list.add(ma.group());

}

return list;

}

java爬虫实时获取页面数据并存入数据库

这种是工作上的问题把。

没给点好处很难做。

需要一个定时任务。不断去扫这个页面。一有更新马上获取。

获取需要用到解析html标签的jar包。

很简单。但是不想在这浪费时间给你写。

java jsoup怎样爬取特定网页内的数据

1、Jsoup简述

Java中支持的爬虫框架有很多，比如WebMagic、Spider、Jsoup等。

Jsoup拥有十分方便的api来处理html文档，比如参考了DOM对象的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧。

2、快速开始

1)分析HTML页面，明确哪些数据是需要抓取的

2)使用HttpClient读取HTML页面

HttpClient是一个处理Http协议数据的工具，使用它可以将HTML页面作为输入流读进java程序中.

3)使用Jsoup解析html字符串

通过引入Jsoup工具，直接调用parse方法来解析一个描述html页面内容的字符串来获得一个Document对象。该Document对象以操作DOM树的方式来获得html页面上指定的内容。

3、保存爬取的页面数据

1)保存普通数据到数据库中

将爬取的数据封装进实体Bean中，并存到数据库内。

2)保存图片到服务器上

直接通过下载图片的方式将图片保存到服务器本地。

关于java爬虫数据提取和爬虫提取数据的方法的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。