「java爬虫下载图片代码」爬虫下载大量图片到本地
今天给各位分享java爬虫下载图片代码的知识,其中也会对爬虫下载大量图片到本地进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
本文目录一览:
- 1、java网络爬虫爬取web视频资源,并下载怎么做
- 2、java代码,里面有下载图片的代码,new File(getClass().getResource("").getFile().toString())
- 3、Java中怎么抓取网页中的图片
- 4、java爬虫读取某一张指定图片的url,求解答
- 5、java关于下载图片。
java网络爬虫爬取web视频资源,并下载怎么做
/*这是个下载图片的爬虫,给你参考一下*/
import java.io.File;
import java.net.URL;
import java.net.URLConnection;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.Scanner;
import java.util.UUID;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class DownMM {
public static void main(String[] args) throws Exception {
//out为输出的路径,注意要以\\结尾
String out = "D:\\JSP\\pic\\java\\";
try{
File f = new File(out);
if(! f.exists()) {
f.mkdirs();
}
}catch(Exception e){
System.out.println("no");
}
String url = "-";
Pattern reg = Pattern.compile("img src=\"(.*?)\"");
for(int j=0, i=1; i=10; i++){
URL uu = new URL(url+i);
URLConnection conn = uu.openConnection();
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko");
Scanner sc = new Scanner(conn.getInputStream());
Matcher m = reg.matcher(sc.useDelimiter("\\A").next());
while(m.find()){
Files.copy(new URL(m.group(1)).openStream(), Paths.get(out + UUID.randomUUID() + ".jpg"));
System.out.println("已下载:"+j++);
}
}
}
}
java代码,里面有下载图片的代码,new File(getClass().getResource("").getFile().toString())
是放在 /home/image 这个目录下面, 但是这个路径是非root用户的根目录,可能会出现问题, 所以建议放在 /data/ 这个目录下面, 在这下面创建一个image目录存放文件。
Java中怎么抓取网页中的图片
通过httpclient来爬取网站内容,分析当前内容页中的图片‘规则’
抓取一般都是模拟浏览器访问目标网页,通过返回的页面html代码进行分析自己需要的数据
查找规则,例如你爬取的网页 ,看到当前页面显示的图片格式如下img src=""
通过解析爬取的网页源代码(html)进行字符串的操作即可,现在有相应的第三方jar包可以帮你更快的完成这部分工作,例如htmlpaser,获取到对应的地址,然后进行保存或下载。
你可以搜索,java爬虫(httpclient)和htmlpaser做更多的了解。
java爬虫读取某一张指定图片的url,求解答
使用jsoup解析到这个url就行,dom结构如下:
look-inside-cover类只有一个,所以直接找到这个img元素,获取src属性,就可以获取到图片路径。
代码实现如下:
Document doc = Jsoup.connect("").get();
Elements imgs = doc.select(".look-inside-cover");
String imgUrl = imgs.get(0).attr("src");
jsoup的jar包分享给你:
java关于下载图片。
URL url = new URL("图片地址");
File outFile = new File(“图片保存到本地路径”);
OutputStream os = new FileOutputStream(outFile);
InputStream is = url.openStream();
byte[] buff = new byte[1024];
while(true) {
int readed = is.read(buff);
if(readed == -1) {
break;
}
byte[] temp = new byte[readed];
System.arraycopy(buff, 0, temp, 0, readed);
os.write(temp);
}
is.close();
os.close();
关于java爬虫下载图片代码和爬虫下载大量图片到本地的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。