Google搜索引擎

搜索引擎会把这些处置好的信息放到搜索引擎的索引库中。下面要点介绍Google搜索引擎。

Google搜索引擎应用两个爬行器来抓取网页内容，差异是:Freshbot和Deepbot。深度爬行器（Deepbot）每月执行一次，其受访的内容在Google的主要索引中，而刷新爬行器（Freshbot）则是昼夜不停地在网络上发觉新的信息和资源，之后再频繁地进行浏览和更新。因为，一般Google第一次发觉的或对比新的网站就在Freshbot的名单中进行浏览了。

Freshbot的结果是保留在另一个单独的数据库中的，由于Freshbot是不停地工作，不停地刷新浏览内容，因此，被它发觉或更新的网页在其执行的时候都会被重写。而且这些内容是和Google主要索引器一同提供搜索结果的。而之前某些网站在一开始被Google收录，但是没过几天这些信息就在Google的搜索结果中消逝了，直到一两个月过去了，结果又重新涌现在Google的主索引中。这就是由于Freshbot在不停地更新和刷新内容，而Deepbot要每月才出击一次，所以这些在Freshbot里的结果还没有来得及更新到主索引中，又被新的内容取代掉了。直到Deepbot重新来浏览这一页，进行收录，才真正进入Google的主索引数据库中。