搜索引擎爬虫来爬行了抓取了所有页面，但未必全部会进入索引目录中，从事SEO的人员要想让自己的更多页面被收录，就要想方设法的吸引爬虫来爬行和抓取。虽然爬虫不能爬尽和抓取所有的页面，但我们要做的就是要把我们认为重要的页面尽量让爬种抓取并编入索引。因此我们要认识几点：

一：质量高，资格老的网站会被认为权重比较高，这种网站上的页面被爬行的深度也比较深，当然这种站点内的页面深度大部分会被收录。

二：页面更新的效率影响，因为爬虫每次来爬行都会把页面以HTML保存入数据库，如果爬虫第二次来爬行的时候发现页面于第一次来爬行抓取的时候页面是完全一样的，表示页面没更新，爬虫就不会经常来去抓取。反之相反，如果经常更新，会更好的吸引爬虫频繁的来抓取，页面上中如果有了新的链接，也会更快的被爬虫跟踪及抓取到索引处理。

三：导入链接，无法是内部链接还是外链，都需要有导入链接进入页面，让爬虫知道有页面的存在，质量高的链接可以使页面上的链接更深的被爬行和抓取。

四：要被抓取的页面与首页的距离，一般站点上的权重最高的都是首页，（当然也有部分的是二级目录或者单一页面。）而外链来说，访问的基本也是首页为主，当然可以根据不同的需求指向不同的其他链接，不过如此做法就会导致权重分散，不建议使用。要知道，页面权重越高，被爬虫爬行和抓取的机会就越高，如果是首页进入，因为现在基本的网站模板首页都可以链接到全部URL的或者链接到分类在转到单一页面的URL链接。

如果页面太多，或者部分爬虫无法爬行的，可以建立sitemap.xml文件，提交给搜索引擎的网站地图提交入口，让爬虫更容易的爬行抓取。