大家肯定对搜索引擎蜘蛛这个词不陌生，但是你有了解它吗？其实搜索引擎蜘蛛是搜索引擎的一个自动程序，它的作用就是抓取互联网上的信息，比如：网页、图片、文章、视频等等，然后把内容整理好，存入数据库中，当客户在搜索引擎中搜索相关关键词时，搜索引擎会根据整理好的内容，以最佳的最好的信息展示在客户。有句话叫天网恢恢疏而不漏，搜索引擎来我们网站也会留下痕迹，如果要查看某搜索引擎是否来爬取过你们的网站，查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等…

1、百度蜘蛛：可以根据服务器的负载能力调节访问密度，大大降低服务器的服务压力。根据以往的经验百度蜘蛛通常会过度重复地抓取同样的页面，导致其他页面无法被抓取到而不能被收录。这种情况可以采取 robots协议的方法来调节。

2、谷歌蜘蛛：谷歌蜘蛛属于比较活跃的网站扫描工具，其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。

3、雅虎中国蜘蛛：如果某个网站在谷歌网站下没有很好的收录，在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大，但平均的效率不是很高，相应的搜索结果质量不高。

4、微软必应蜘蛛：必应与雅虎有着深度的合作关系，所以基本运行模式和雅虎蜘蛛差不多。

5、搜狗蜘蛛：搜狗蜘蛛的爬取速度比较快，抓取的数量比起速度来说稍微少点。最大的特点是不抓取 robot. text文件。

6、搜搜蜘蛛：搜搜早期是运用谷歌的搜索技术，谷歌有收录，搜搜肯定也会收录。2011年搜搜已经宣布采用自己的独立搜索技术，但搜搜蜘蛛的特性和谷歌蜘蛛的特点还是有着相似的地方。

其实，seo优化排名就是做优质的信息，满足客户体验度的基础上符合搜索引擎规则的事。