lucencejava的简单介绍

本篇文章给大家谈谈lucencejava，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、求java实现网络爬虫的原理（源代码更好）
• 2、关于java搜索引擎
• 3、java开发中什么样的项目会用到Hadoop？

求java实现网络爬虫的原理（源代码更好）

复杂的方法就是自己用java的相关类来模拟浏览器下载网页页面，然后使用DOM等技术从下载的网页中获取自己需要的内容。不过强烈建议你使用HttpClient和HttpParse框架来方便地实现网络爬虫功能。其中HttpClient框架主要实现从WEB服务器下载网页数据，功能极其强大。而HttpParse框架则是从网页文件中获取不同标签的内容，功能也很强大，而且使用十分方便，强烈推荐。

关于java搜索引擎

lucene的效率没有问题，你可以100W条记录的索引放在一台机器上，用nutch分开检索的算法，或者用hadoop存储索引，自己写一个indexsearcher，但是需要注意各个机器上的结果是本地最优不是全局最优的结果，如果想全局最优的结果还得采用全局频率计数（Nutch现在有没有我不清楚），或者放开各个机器返回结果的数量，从算法理论的角度上最大可能的获得最优解。100W记录的响应我测试过，应该可以满足要求。等你遇到什么问题，可以再联系，lucene后面的基准测试你也可以看看。

老吴

java开发中什么样的项目会用到Hadoop？

java项目一般是不会用到hadoop的，除非涉及到处理大数据方面的业务。hadoop是用java实现的。主要原因如下：

1. java比较适合做大型复杂系统

2. Doug Cutting本身从事java方面的研究，主要是lucence，开源检索架构说来也是这样的。

3. java开源，活跃程度最高，这样搞出来放在apache上有利于交流、改进

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

lucencejava的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、lucencejava的信息别忘了在本站进行查找喔。