Heritrix使用了Berkeley DB来构建链接队列。这些队列被置放于BdbMultipleWorkQueues中时,总是先给予一个Key,然后将那些Key值相同的链接放在一起, 成为一个队列,也就是一个Queue。在Heritrix中,为每个队列赋上Key值的策略,也就是它的queue-assignment-policy。
Heritrix默认使用的queue-assignment-policy是HostnameQueueAssignmentPolicy,一个继承于QueueAssignmentPolicy抽象类的队列分配策略。顾名思义,它是以链接的Host名称为Key值来解决这个问题的。换句话也就是说,相同Host名称的所有URL都会被置放于同一个队列中间。
HostnameQueueAssignmentPolicy有一个问题,就是它对于某个单独网站的网页抓取,会造成有一个队列的长度非常长,而其它队列则几乎都处于空闲的情况,这使得在多线程抓取的情况下,效率得不到提高。
为了解决这个问题,我们可以定制自己的QueueAssignmentPolicy。下面以ELFHash的哈希散列算法定制一个名为ELFHashQueueAssignmentPolicy的队列分配策略,它也是继承于QueueAssignmentPolicy的。
package my;
import org.archive.crawler.datamodel.CandidateURI;
import org.archive.crawler.framework.CrawlController;
import org.archive.crawler.frontier.QueueAssignmentPolicy;
public class ELFHashQueueAssignmentPolicy extends QueueAssignmentPolicy {
@Override
public String getClassKey(CrawlController controller, CandidateURI cauri) {
return this.ELFHash(cauri.getUURI().toString(), 50) + "";
}
public int ELFHash(String str, int number) {
int hash = 0;
long x = 0l;
char[] array = str.toCharArray();
for (int i = 0; i < array.length; i++) {
hash = (hash << 4) + array[i];
if ((x = (hash & 0xF0000000L)) != 0) {
hash ^= (x >> 24);
hash &= ~x;
}
}
int result = (hash & 0x7FFFFFFF) % number;
return result;
}
}
接下来就是配置问题了。
第一步:到org.archive.crawler.frontier.AbstractFrontier这个类下找到public AbstractFrontier(String name, String description)这个方法,在里面找到:
String queueStr = System.getProperty(AbstractFrontier.class.getName() +
"." + ATTR_QUEUE_ASSIGNMENT_POLICY,
HostnameQueueAssignmentPolicy.class.getName() + " " +
IPQueueAssignmentPolicy.class.getName() + " " +
BucketQueueAssignmentPolicy.class.getName() + " " +
SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +
TopmostAssignedSurtQueueAssignmentPolicy.class.getName());
将我们自己写的ELFHashQueueAssignmentPolicy类添加进去,即变成:
String queueStr = System.getProperty(AbstractFrontier.class.getName() +
"." + ATTR_QUEUE_ASSIGNMENT_POLICY,
ELFHashQueueAssignmentPolicy.class.getName() + " " +
//HostnameQueueAssignmentPolicy.class.getName() + " " +
IPQueueAssignmentPolicy.class.getName() + " " +
BucketQueueAssignmentPolicy.class.getName() + " " +
SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +
TopmostAssignedSurtQueueAssignmentPolicy.class.getName());
第二步:到org.archive.crawler.frontier.AdaptiveRevisitFrontier下找到
protected final static String DEFAULT_QUEUE_ASSIGNMENT_POLICY = HostnameQueueAssignmentPolicy.class.getName();
将其改为:
protected final static String DEFAULT_QUEUE_ASSIGNMENT_POLICY = ELFHashQueueAssignmentPolicy.class.getName();
然后继续往后找到public AdaptiveRevisitFrontier(String name, String description) 方法,对其中的一段:
String queueStr = System.getProperty(AbstractFrontier.class.getName() +
"." + ATTR_QUEUE_ASSIGNMENT_POLICY,
HostnameQueueAssignmentPolicy.class.getName() + " " +
IPQueueAssignmentPolicy.class.getName() + " " +
BucketQueueAssignmentPolicy.class.getName() + " " +
SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +
TopmostAssignedSurtQueueAssignmentPolicy.class.getName());
修改为:
String queueStr = System.getProperty(AbstractFrontier.class.getName() +
"." + ATTR_QUEUE_ASSIGNMENT_POLICY,
ELFHashQueueAssignmentPolicy.class.getName() + " " +
//HostnameQueueAssignmentPolicy.class.getName() + " " +
IPQueueAssignmentPolicy.class.getName() + " " +
BucketQueueAssignmentPolicy.class.getName() + " " +
SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +
TopmostAssignedSurtQueueAssignmentPolicy.class.getName());
第三步:
到heritrix.properties文件下找到
org.archive.crawler.frontier.AbstractFrontier.queue-assignment-policy = \
org.archive.crawler.frontier.HostnameQueueAssignmentPolicy \
org.archive.crawler.frontier.IPQueueAssignmentPolicy \
org.archive.crawler.frontier.BucketQueueAssignmentPolicy \
org.archive.crawler.frontier.SurtAuthorityQueueAssignmentPolicy \
org.archive.crawler.frontier.TopmostAssignedSurtQueueAssignmentPolicy
将我们的ELFHashQueueAssignmentPolicy类添加进去,即变成这样:
org.archive.crawler.frontier.AbstractFrontier.queue-assignment-policy = \
my.ELFHashQueueAssignmentPolicy \
org.archive.crawler.frontier.IPQueueAssignmentPolicy \
org.archive.crawler.frontier.BucketQueueAssignmentPolicy \
org.archive.crawler.frontier.SurtAuthorityQueueAssignmentPolicy \
org.archive.crawler.frontier.TopmostAssignedSurtQueueAssignmentPolicy
这样,当我们使用Heritrix抓取网页的时候,Heritrix就变成默认使用ELFHashQueueAssignmentPolicy来分配连接队列了。经过验证,爬取的效率的确能得到了很大的提高。
最后,不得不提的是,通过以上修改,有时还是会出问题,表现在是整个Job已经完成了,但只爬到几KB的样子,而mirror目录根本没有生成出来。上网搜了一下,有网游这样建议:
--------------------引用部分-------------------------
(1) 配置下在Setting里的frontier项中的max retries,改成100(有可能是入口过少)
(2) 将url地址改成ip地址(看过log,有时候会有很多404error,那我直接换成ip地址试下,果然好使,哈哈)
--------------------引用部分------------------------
希望哪位大虾知道原因能告诉我一声,呵呵。。。
相关推荐
后续的发行H3将是3.0.1补丁版包括小的修改和增强将在2010年上半年,3.2.0将包含以使用简单、持续爬行和大规模爬行为主题的新功能。 H3的文档包括 Heritrix 3.0 and 3.1 User Guide Heritrix 3.x API Guide ...
heritrix 中文API (自己整理),网络爬虫,只包含关键的类的介绍
heritrix正确完整的配置heritrix正确完整的配置heritrix正确完整的配置heritrix正确完整的配置heritrix正确完整的配置
开发自己的搜索引擎,Heritrix是一种网页抓取的有效工具
Luncene2.0+Heritrix开发自己的搜索引擎,项目的代码
Lucene+Heritrix开发自己的搜索引擎, 对不起了各位 只有这么多。
在/Heritrix1/src/org/archive/crawler/Heritrix.java启动之后,访问https://localhost:8089登录admin密码admin直接用
自己学习Lucenes 2.0 和Heritrix之后的总结
按照这个步骤安装绝对会让你安装成功的。步骤非常的清晰。Heritrix是一个不错的选择。网络爬虫,更快更好的帮你捕捉到你想要的网页
开发自己的搜索引擎《lucene2.0+heritrix》一书对应的源码资料,总共有30M,只上传了几个例子. ch2-lucene入门小例子 myReserch-可用的网络搜索引擎
综合各项技术构建了一个典型的垂直搜索系统,具有很强的商业使用价值。
Luncene2.0+Heritrix开发自己的搜索引擎,02,07,09章节的代码
开发自己的搜索引擎--Lucene+Heritrix
包含: heritrix-3.1.0-dist.zip heritrix-3.1.0-src.zip 官网下载地址。
《开发自己的搜索引擎--Lucene+Heritrix》讲解搜索引擎开发的畅销书
heritrix系统使用、一个ppt 介绍heritrix的基本概念、以及原理知识
heritrix1.14.4的源码包,包含heritrix1.14.4.zip和heritrix1.14.4-src.zip。heritrix是一种开源的网络爬虫,用于爬去互联网中的网页。如何配置和使用heritrix爬虫,请移步:...
目前已有热心读者愿意为mirror.rar文件提供下载,在此对他们表示感谢。因为该文件需要的空间较大,初期下载地址可能会不确定,请读者发邮件询问本书责编:quyanlian@ptpress.com.cn,注明“Lucene下载地址咨询”。...
heritrix-3.1.0 最新官网jar包。包括heritrix-3.1.0-dist.zip包与heritrix-3.1.0-src.zip包。是爬虫神器
Heritrix使用详解与高级开发应用 Heritrix开发应用详细