构建自己的购物搜索引擎一：写一个简单的疯狂代码！

记得2010年10月9号，淘宝全网搜索引擎一淘网上线，当时不怎么关注，只是在网站上看到过新闻而己，前两个月，觉得是时候走确定自己以后要走的方向了，于是决定以后加入到搜索的行列中，此时开始关注一淘网的技术，来打开搜索的大门。
那么做搜索引擎要做哪些内容呢，以前有人也这样问过nutch,lucene,hadoop之父Doug Cutting，他回答大致应该分为以下几部分：
1）攫取(fetching)：就是把被指向的网页下载下来。通常就是日常所说的网络爬虫的工作。
2）数据库：保存攫取的网页信息，比如那些网页已经被攫取，什么时候被攫取的以及他们又有哪些链接的网页等等。
3）链接分析：对刚才数据库的信息进行分析，给每个网页加上一些权值(比如PageRank,WebRank什么的)，以便对每个网页的重要性有所估计。不过，在我看来，索引那些网页标记(Anchor)里面的内容更为重要。(这也是为什么诸如Google Bombing如此高效的原因
4）索引(Indexing): 就是对攫取的网页内容，以及链入链接，链接分析权值等信息进行索引以便迅速查询。
5）搜索(Searching): 就是通过一个索引进行查询然后按照网页排名显示
根据这几部分，我们可以自己写一个简单的购物搜索引擎。
第一步：抓取数据
目前开源的网络爬虫有很多，nutch,heritrix都可以算是其中的佼佼者。这里我们先自己动手写一个简单的。
仔细看淘宝的网站，会发现，基本上商品信息比较全的页面全都是以item.taobao开头的，那我们用chrome的开发人员工具分析一下页面结构。
如下图：
构建自己的购物搜索引擎一：写一个简单的

图片内容为：
我们可以看到，在这个名为J_itemViewed的div中，我们可以取到商品的三个最基本的信息，商品名称，商品价格，商品图片地址。那么现在的目标很明确，就是在抓取item.taobao的网页，然后找到id为J_itemViewed的div标签，取出里面的商品信息。那么动手吧。
我们写一个Crawler的类，这个类要做以下几件事：
1.提取网页链接
2.碰到包含有item.taobao的链接，分析网页内容，提取信息，将商品信息存储入本地
首先来看提取网页链接，如下图所示：
构建自己的购物搜索引擎一：写一个简单的

提取网页上的链接一般是从一种初始网页开始了，比如说我从www.taobao.com开始，然后分析网页的结构，取得里面的所包含的链接，然后根据这个链接，去提取更深层次的链接。如此循环，到一定条件停止。在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先。广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。深度优先是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。对于垂直搜索来说，通常采用广度优先策略。下面简单列出抓取与提供信息的方法，具体的看附近里的源程序。　
GetUrlThread.class(链接抓取)
构建自己的购物搜索引擎一：写一个简单的