URL优化：优化URL不是难事，但是是有意义的事情，大家可以看看越来越多的网站都把URL结构优化的非常简单易懂，容易抓取，尤其是很多B2C商城，以前URL路径都十分复杂，参数众多，现在都优化的非常好。虽然蜘蛛也抓取动态网页，但如果做成静态，对于有大量内页的大型网站，就能为蜘蛛的爬行减轻很多负担。

 

优化排版：排版的重要目的是让蜘蛛爬行的更加顺利，抓取的内容更好的获得排名。排版有问题的网站长尾排名会直接受到影响，比如同样的权重和收录，排版好的页面获得的排名要高于一般性的排版页面。影响排名的主要因素就是标签的合理使用、重要内容是否突出。

 

优化翻页：翻页十分重要，如果网站内页比较多，很多页面蜘蛛是通过翻页才能够到达，一般来说，不宜超过三到四次点击，如果点击次数很多才能够到达，那么对于蜘蛛而言就会放弃抓取和收录。一般优化网站翻页需要从程序着手，比如一到十分页之后，底部最好有十到一百的翻页结构；另外一个方面，就是通过分小类的方法，多分一类别，就能减少很多点击次数，从而让蜘蛛更容易爬行和收录。

 

降噪优化：降噪优化主要是减少多余的程序代码，一般优化的重点就是JS与CSS，把一些花里胡哨的功能都去掉，把必须的JS封装进JS文件，把table布局的页面改变成为css，少使用flash和ajax脚本，大家可以想下，如果内页的模板中使用了这样的代码，那么如果有100w和内页，则相当于增添了100w个这样的程序，对蜘蛛而言，如果页面进行优化，就会节省很多时间用于收录其它页面。

 

robots优化：这点很多站长都忽略掉了，一个网站，如果功能比较强大，那么很可能同一页面就对应多个URL路径，比如在价格、颜色、尺寸等不同属性的页面，重复度极高，再比如静态、伪静态和动态之间，也有可能存在这个问题，所以必须在robots文件中禁止搜索引擎对页面的请求和爬行，这对于提高收录也是非常有帮助的。