「java网页采集」java设备数据采集

本篇文章给大家谈谈java网页采集，以及java设备数据采集对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、如何用java实现新闻采集
• 2、如何用Java实现数据采集?
• 3、请教下如何使用java做实时网页数据采集？

如何用java实现新闻采集

如果代码能力不是很好的话可以借助一些软件去抓取新闻的字段

把数据抓取下来以后可以选择存入数据库当中

需要去重的话，在Java的集合框架中就有HashSet和HashMap可以对数据去重

使用带Hash的集合时一定要注意，如果是存放自定义的对象一定要重写equals方法和HashCode方法

如何用Java实现数据采集?

Java网页数据采集器例子如下：

import java.util.regex.Matcher;

import java.util.regex.Pattern;

/**

* Group 类 用于匹配和抓取 html页面的数据

*/

public class Group {

public static void main(String[] args) {

// Pattern 用于编译正则 这里用到了3个正则 分别用括号()包住

// 第1个正则用于匹配URL 当然这里的正则不一定准确 这个匹配URL的正则就是错误的 只是在这里刚好能匹配出来

// 第2个正则是用于匹配标题 SoFlash的

// 第3个正则用于匹配日期

/* 这里只用了一条语句便把url,标题和日期全部给匹配出来了 */

Pattern p = Pattern

.compile("='(\\w.+)'(\\w.+[a-zA-Z])-(\\d{1,2}\\.\\d{1,2}\\.\\d{4})");

String s = "a href=''SoFlash-12.22.2011/a";

Matcher m = p.matcher(s);

while (m.find()) {

// 通过调用group()方法里的索引 将url,标题和日期全部给打印出来

System.out.println("打印出url链接:" + m.group(1));

System.out.println("打印出标题:" + m.group(2));

System.out.println("打印出日期:" + m.group(3));

System.out.println();

}

System.out.println("group方法捕获的数据个数:" + m.groupCount() + "个");

}

}

下输出结果:

打印出url链接:

打印出标题:SoFlash

打印出日期:12.22.2011

group方法捕获的数据个数:3个

请教下如何使用java做实时网页数据采集？

String urlStr = ""; // 网址

try {

//创建一个url对象来指向要采集信息的网址

URL url = new URL(urlStr);

//将读取到的字节转化为字符

InputStreamReader inStrRead = new InputStreamReader(url.openStream(),"utf-8");

//读取InputStreamReader转化成的字符

BufferedReader bufRead = new BufferedReader(inStrRead);

//读到的内容不为空

while (bufRead.readLine() != null) {

System.out.println(bufRead.readLine());

}

bufRead.close();

} catch (IOException e) {

e.printStackTrace();

}

关于java网页采集和java设备数据采集的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。