站优云 > 行业动态 >

robots.txt文件在优化中能起到什么作用

作者: 周志伟 行业动态 发布时间:2020-02-11 14:08 浏览次数:139

  今天就来跟大家说下robots.txt文件有什么作用?要知道通过robots.txt文件,搜索引擎蜘蛛能够了解到网站内哪些内容可以爬行抓取,哪些内容是不允许抓取。蜘蛛在爬行网站之前都会先检查这个文件,并根据文件来判断网站内容是否能够抓取。

  一、怎么查询robots.txt文件

 

  robots.txt文件都是放在网站根目录下面,我们只要在域名后面输入robots.txt,然后按确认键,就会弹出robots文件内容,robots.txt文件展示

 

  二、robots.txt文件使用误区

 

  1、网站所有文件都可以被抓取,不去设置robots.txt文件,默认让搜索引擎抓取整个的网站文件,这样不更利于优化。现实不是这样的,蜘蛛每次来抓取网站先会抓取robots.txt文件,如果文件不存在,蜘蛛就会认为是死链,就在网站日志记录为死链,严重影响蜘蛛友好度。

 

  2、在robots.txt文件中设置所有的文件都允许搜索引擎蜘蛛抓取,让搜索引擎能够收录更多页面。其实搜索引擎蜘蛛对于网站程序脚本、css样式、js文件等,很难被搜索引擎收录,就算收录了,也只会浪费服务器资源,这种对网站保护性很差,对蜘蛛体验不友好。

 

  3、在robots.txt文件中设置不抓取整个网站内容,不让抓取意味着整个网站都不会被搜索引擎收录,不被收录的话,关键词难以获得排名,在好的营销内容,也难以被用户看到。

 

  三、正确对待robots.txt使用技巧

 

  我们网站都是由许多文件组成,比如我们常见的有后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等,有些文件是不需要搜索引擎去收录的,直接屏蔽蜘蛛抓取,让蜘蛛更好的爬行需要被抓取的内容,减轻蜘蛛负担,提高抓取效率,切记网站里不要空着,不去设置。

 

  总结一点,robots.txt文件对于网站优化可是有非常大的帮助,并且提高蜘蛛抓取效率,又能保护网站内部信息,所以在网站上线前一定得检查好robots.txt文件,如果没有及时添加,如果规则写错了,及时调整过来,以免影响网站的收录。

版权声明:本文部分内容来自互联网转载整编而成,不代表本站观点,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请在线联系站长,一经查实,本站将立刻删除。

专题推荐