Robots.txt文件在SEO优化中的重要性
2020-04-07 浏览：442次 来源：管理员
网站Robots.txt文件能够告知查找引擎要拜访哪些页面，并在网站上为哪些页面提供索引。例如，假如在Robots.txt文件中指定网不期望查找引擎拜访你的“关于我们”页面，则该页面将无法显示在查找成果中，网络用户将无法拜访该页面，找不到它。坚持查找引擎拜访您网站上的某些页面对于网站的隐私和SEO都是至关重要的。
本文上海网站优化公司小编将解说为什么会这样，并为您提供有关如何设置杰出的Robots.txt文件的常识。
一、Robots.txt的工作方式
查找引擎发出名为“蜘蛛”或“机器人”的微型程序来查找您的网站，并将信息带回到查找引擎，以便你的网站页面能够在查找成果中树立索引并由网络用户找到。你的Robots.txt文件指示查找引擎蜘蛛程序不要在抓取这些页面，运用“disallow”指令指定的网站上查找网页。例如，以下Robots.txt指令：
用户署理：*
制止：/谢谢
…将阻挠一切查找引擎机器人拜访您网站上的以下页面：
http://www.yoursite.com/thankyou
请注意，在disallow指令之前，您具有以下指令：
用户署理：*
“用户署理：”部分指定您要阻挠的机器人，并或许如下所示：
用户署理：Googlebot
此指令只会阻挠Google机器人，而其他机器人仍能够拜访该页面：
http://www.yoursite.com/thankyou
可是，经过运用“*”字符，您能够指定它下面的指令引用一切机械手。你的robots.txt文件将位于你网站的根目录中。例如：
http://www.yoursite.com/robots.txt
二、为什么某些页面需求被制止
为什么要运用Robots.txt文件阻挠页面的原因有三个。首先，假如你的网站上有一个页面与另一个页面重复，则不期望机器人对其进行索引，因为这会导致重复的内容，然后危害网站的SEO。第二个原因是，假如网站上有一个页面，除非你采纳特定措施，否则不期望用户拜访该页面。例如，假如你有一个“感谢”页面，因为用户给了他们自己的电子邮件地址，因此用户能够拜访特定信息，则或许不期望人们经过Google查找来找到该页面。别的一非必须阻挠页面或文件的时间是想维护站点中的私人文件(例如cgi)时-bin并防止因为机器人索引您的图像文件而占用带宽：
用户署理：*
制止：/images/
制止：/cgi-bin/
在一切这些情况下，都需求在Robots.txt文件中包含一个指令，该指令告知查找引擎蜘蛛不要拜访该页面，不要在查找成果中树立索引，也不要向其发送拜访者。让我们看一下如何创立一个Robots.txt文件，使之成为或许。
三、创立Robots.txt文件
经过设置免费的网站管理员东西帐户，能够经过在菜单栏的“网站配置”选项下挑选“抓取东西拜访权限”选项来轻松创立Robots.txt文件，并设置一个简略的Robots.txt文件。
定论
假如网站添加的内容不期望被查找引擎树立索引或不期望被网络用户拜访的页面，那么更新Robots.txt文件非常重要。这将确保网站的安全性，并经过优化查找引擎来取得最佳成果。
17898858581
17898858581 
