robots.txt文件的重要性

听到一个名为robots.txt的小文本文件可能使您的网站垮台，您可能会感到惊讶。如果您的文件错误，最终会告诉搜索引擎漫游器不要抓取您的网站，这意味着您的网页不会出现在搜索结果中。因此，了解SEO中robots.txt文件的用途并了解如何检查您是否正确使用它非常重要。

robots.txt文件向网络机器人提供有关网站所有者不希望“抓取”的网页说明。例如，如果您不希望Google和其他搜索引擎列出您的图片，则可以使用robots.txt文件阻止它们。

它是如何工作的？

在搜索引擎抓取您的网站之前，它会查看您的robots.txt文件，作为允许他们在搜索引擎结果上抓取（访问）和索引（保存）的位置的说明。

Robots.txt文件很有用：

如果您希望搜索引擎忽略您网站上的任何重复页面

如果您不希望搜索引擎将内部搜索结果页面编入索引

如果您不希望搜索引擎为您网站的某些区域或整个网站编制索引

如果您不希望搜索引擎索引您网站上的某些文件（图像，PDF等）

如果您想告诉搜索引擎您的站点地图所在的位置

如何创建robots.txt文件

如果您发现目前没有robots.txt文件，我建议您尽快创建一个。你需要：

创建一个新的文本文件并将其另存为名称“ - 您可以在Windows PC上使用Notepad程序或在Mac上使用TextEdit，然后使用文本分隔文件”另存为“。

将其上传到您网站的根目录 - 这通常是一个名为“htdocs”或“www”的根级文件夹，使其直接显示在您的域名之后。

如果您使用子域，则需要为每个子域创建robots.txt文件。

要在robots.txt文件中包含哪些内容

关于robots.txt文件中应该和不应该放什么的经常存在分歧。请再次注意，robots.txt并不是为了解决您网站的安全问题，因此我建议您的网站上任何管理员或私人网页的位置都不包含在robots.txt文件中。如果您想安全地阻止机器人访问您网站上的任何私人内容，那么您需要使用密码保护存储它们的区域。请记住，robots.txt旨在充当网络机器人的指南，并非所有人都会遵守您的指示。

.txt文件的重要性，因此请务必检查您的文件，以确保您不会在不知不什么不包含在您的robots.txt文件中

有时，网站有一个robots.txt文件，其中包含以下命令：

用户代理： *不允许： /

这告诉所有机器人忽略整个域名，这意味着搜索引擎根本不会列出该网站的任何页面或文件！

上述示例强调了正确实施robots觉中限制搜索引擎被编入索引的机会。

测试你的Robots.txt文件

您可以测试robots.txt文件以确保其按预期运行 - 我们建议您使用robots.txt文件执行此操作，即使您认为它是正确的。

该测试工具由Google创建（并于2014年7月更新），以允许网站管理员检查其robots.txt文件。要测试您的robots.txt文件，您需要将应用它的网站注册到Google网站站长工具（这非常有用，因此您应该已经设置了此设置）。然后，您只需从列表中选择该网站，Google就会为您重新记录任何错误。

使用Google Robots.txt测试程序测试您的robots.txt文件

如果你没有robots.txt文件怎么办？

如果没有robots.txt文件，搜索引擎将有一个免费运行来抓取并索引他们在网站上找到的任何内容。这对于大多数网站来说都很好，但是至少指出XML站点地图的位置是非常好的做法，这样搜索引擎就可以找到新内容，而无需慢慢浏览网站上的所有页面并在几天后碰到它们。