什么是Robots.txt文件？
robots.txt是一个很小但很重要的文件，位于网站的根目录中。可以让蜘蛛（机器人）了解哪些页面或目录可以被爬行（爬行），哪些页面不能被爬行（爬行）。robots.txt 文件可以用来完全阻止搜索引擎爬行器，或者仅仅限制它们对网站某些区域的访问。下面HostGator美国虚拟主机商主要就robots文件里面的一些基本内容做一个介绍。
User-agent：用于指定特定蜘蛛的抓取。适用于所有蜘蛛的抓取可以使用“*”。
不允许：用于告知机器人哪些文件和文件夹不能爬行。
允许：告诉机器人可以爬行不允许爬行的文件夹中的文件。
网站地图：用于指定网站地图的位置。
在robots.txt文件中还可以使用的其他规则，比如“Host：”和“Crawl-delay：”，但这些规则并不常见，只在特定的情况下使用。
Robots.txt文件的作用是什么？
每一个被爬行的网站都有一个爬行预算。爬行预算主要是搜索引擎在任何给定时间都可以爬行的有限页面数量，谁都不想把爬行预算浪费在低质量，垃圾的或不重要的页面上。这就是robots.txt文件的作用，可以使用robots.txt文件指定搜索引擎应该忽略哪些页面、文件和目录（以及其他搜索引擎），允许搜索引擎机器人把重点放在重要高质量的内容上。
下面是一些可以考虑在WordPress网站上屏蔽的重要事情：
分面导航和会话标识符
现场重复的内容
软错误页面
被黑的页面
无限的空间和代理
低质量和垃圾内容
这个列表直接来自谷歌网站管理员中心博客，在上面列出的页面上浪费爬行预算将会减少在真正有价值的页面上的爬行活动，这可能导致在搜索网站上重要内容时出现明显的延迟。
不应该用Robots.txt做什么
robots.txt 不应该用来作为一种控制搜索引擎索引页面的方式，如果正在试图阻止某些页面被包含在搜索引擎结果中，应该使用noindex标记或指令，或加密保护页面。这样做的原因是robots.txt文件实际上并没有说明搜索引擎不要索引内容，它只是告诉他们不要爬行它。虽然搜索引擎不会从自己的网站中爬行不允许的区域，但它们确实指出，如果外部链接指向已经排除的页面，它仍然可能被爬行和索引。在WordPress中需要Robots.txt文件吗？我想说的是WordPress可以不需要robots.txt文件，但它绝对是被推荐的。
如何创建WordPress Robots.txt文件
现在已经了解了robots.txt是什么以及它的用途，接下来我们将研究如何创建一个robots.txt。有三种不同的方法，下面我将逐一介绍。
1、使用插件创建Robots.txt
像Yoast这样的搜索引擎优化插件具有在WordPress仪表盘中创建和编辑robots.txt文件的选项，这可能是最简单的选项。
2、使用FTP上传Robots.txt
另一个选项是使用记事本（或类似的东西）在计算机上创建.txt文件，并将其命名为robots.txt。然后，你可以使用FTP（文件传输协议）（如FileZilla）将文件上传到网站的根目录。
3、在cPanel中创建Robots.txt
如果以上两个选项都不合适，你也可以登录到cPanel并手动创建文件。务必确保在根目录中创建文件。
如何为WordPress优化Robots.txt
WordPress robots.txt中应该包含什么呢？你可能会觉得很惊讶，但又不是是很多。下面，我将解释原因。谷歌（和其他搜索引擎）正在不断地发展和改进，所以曾经的最佳实践不一定会再有效。现在谷歌不仅可以读取网的站HTML，还可以读取你的CSS和JS文件。由于这个原因，他们不喜欢在你屏蔽任何需要渲染的文件或文件夹时使用它。在过去，阻止像/wp-include /和/wp-content/的文件夹是可以的。现在情况已经不同了。通过登录到谷歌 Webmaster账户并测试实时URL是测试它的简单方法。如果有任何资源被谷歌机器人阻止，他们将会在页面资源选项卡中不友好。
此外在修改robots.txt网站时要小心。虽然这些改变可以提高搜索流量，但如果犯错，它们也会弊大于利。在创建并定制robots.txt之后，登录到谷歌Webmaster帐户，并使用这个机器人测试工具，该工具的操作方式与Googlebot类似，它将检查robots.txt文件，并验证URL是否已被适当屏蔽。站长需要验证一切都是正确的，并且没有任何警告或错误。
robots.txt是网站搜索引擎优化的重要部分。如果使用得当，它可以加快爬行的速度，并使更新的内容更快地建立索引。但是滥用这个文件会对搜索引擎排名造成很大的损害，所以在进行任何更改时要小心。
希望本文能让你更好地理解robots.txt文件，以及如何针对特定的WordPress需求对其进行优化。有其他问题可以访问HostGator美国虚拟主机官网了解更多内容。推荐阅读：站长应该怎样着手优化网站。