为什么要给wordpress网站创建一个robots.txt文件？问到这个问题，我们就不得不说一下搜索引擎蜘蛛爬取我们的wordpress网站时的原理了。搜索引擎蜘蛛从某个网站入口（如：其它网站给我们wordpress网站做的友情链接 或 通过我们的wordpress网站的某个页面）进入到我们的wordpress网站，然后，在我们网站没有针对搜索引擎的爬取设置相应的规则时，蜘蛛就会毫无顾虑地爬向我们网站的任何地方，包括我们网站的核心代码——wordpress程序的所有php代码。还有我们wordpress网站的其它隐私。

而对于我们这些认真做站的wordpress站长们，只希望搜索引擎们快速地抓取我们的web前端页面，以利于我们wordpress网站的自然排名，而不是让蜘蛛们把时间浪费在我们的那些后端代码文件上。所以，我们就要为我们的wordpress网站添加一个限制蜘蛛爬取的文件（robots.txt），规定蜘蛛可以爬取哪些地方，哪些地方不让它们进去，等于给我们的wordpress网站请了一个门卫。那么，怎样写这个robots.txt文件内容呢？

一、wordpress自动创建的robots.txt。

一般情况下，在我们为网站安装好wordpress程序后，wordpress会网站根目录自动为我们的网站创建一个robots.txt文件（如下图）。

我们可以看到，wordpress程序只是为网站的robots.txt文件添加了3句简单的代码：

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

从上面的代码中，wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录，但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。

二、手动修改worddpress网站的robots.txt文件内容。

在wordpress程序自动创建的robots.txt文件代码，显然不能满足我们网站的要求。作为资深的wordpress站长，我们当然了解，我们的wordpress网站哪些地方是不能让搜索引擎蜘蛛爬取的，如： wordpress程序的核心文件目录/wp-admin/和/wp-includes/、我们给网站安装的插件目录/wp-content/plugins/和wordpress主题模板目录/wp-content/themes/。当然，每一个wordpress站长，可能都有这样那样的不想让搜索引擎爬取的地方。

​下面是锐锋 堂 网站的robots.txt内容：

User-Agent: * （*星号，表示允许所以的搜索引擎蜘蛛）

Disallow: /wp-admin/ （disallow 表示不允许，不允许爬取/wp-admin/核心文件目录)

Disallow: /wp-includes/ （不允许爬取/wp-includes/核心文件目录)

Disallow: /wp-content/plugins （不允许爬取wordpress插件目录)

Disallow: /wp-content/themes （不允许爬取wordpress主题目录)

Disallow: /plus/ad_js.php （不允许爬取这个PHP文件)

Disallow: /plus/posttocar.php

Disallow: /anli/weixin （其它目录）

Disallow: /themes

Disallow: /get_activation

Disallow: /*?* （不允许蜘蛛爬取URL中带问号的链接)

Disallow: /*&* （不允许蜘蛛爬取URL中带&的链接)

Disallow: /*.rar （不允许蜘蛛爬取rar后缀的文件)

Disallow: /*.zip （不允许蜘蛛爬取zip后缀的压缩文件)

Sitemap: http : //wanlimm . com/sitemap.html （允许蜘蛛爬取网站静态地图)

Sitemap: http : //wanlimm . com/sitemap.xml （允许蜘蛛爬取sitemap网站地图)

三、robots.txt关键词的简单解说。

上面，只是对锐锋堂的robots.txt文件代码进行一次解说。作为wordpress站长的你，应该根据自己网站的不同情况，在自己网站的robots.txt文件中添加对应的代码。其实，robots.txt代码的规则还是非常简单的，就那么几个关键词：User-Agent（搜索引擎蜘蛛名）、Disallow（不允许）、Allow（允许）、Sitemap（指定网站的地图文件）。

如果我们只想让百度蜘蛛爬取我们的wordpress网站，而不让其它的搜索引擎蜘蛛进我的网站爬取，我们可以把上面代码中的User-Agent:* 修改成 User-Agent:baiduspider 。

另外，“Disallow: /wp-admin/” 与 “Disallow: /wp-admin”也表示不同的意思，虽然后面的只少了一个斜杠。“Disallow: /wp-admin/”表示禁止搜索引擎蜘蛛爬取网站wp-admin目录下的目录，但include目录中的文件仍然可以爬取；而“Disallow: /wp-admin”表示禁止搜索引擎蜘蛛爬取网站wp-admin整个目录，包括其下的所有文件。

如果想禁止搜索引擎蜘蛛爬取全站，可以用 Disallow: / ；

如果想允许搜索引擎蜘蛛可以爬取全站，可以用Allow:/；

如果想禁止搜索引擎蜘蛛爬取wordpress网站的全部PHP文件，可以用Disallow: /*.php 。

以上就是我们今天介绍的所有内容——如何为我们的wordpress网站添加robots.txt文件？每一个wordpress网站，可能的限制不一样，所以，我们都要根据自己网站情况，做出相应的修改，以达到最佳效果。注意：Disallow: /可千万要小心用哦，除非在我们wordpress网站的建站初期——网站还在建设当中，不希望搜索引擎来打扰。但一定要记住，等网站做好了，一定要去掉这个Disallow: / 。