主页 > 行业动态

robots文件怎么设置呢

作者: 行业动态 发布时间:2019-01-11 16:55 浏览次数:96

    robots文件怎么设置呢?其实大家都知道robots文件是干什么用的。告诉搜索引擎哪些页面抓取哪些页面不抓取。但是主要是禁用哪些页面呢?

    一、动态页面

 

    首先建议把动态页面给禁用掉,搜索引擎很喜欢收录动态页面,但是网站基本给出来的是静态页面地址。容易影响相同页面的排名。

 

    二、跳转页面

 

    跳转页面最好也禁用掉,跳转页面基本都是跳出到其他网站的链接,robos文件禁用掉的话,尽量不收录这类页面。

 

    三、已收录但删除了的页面

 

    因为网站都会涉及到页面删除,但是删除后搜索引擎还是会收录着这些页面的话,我们要在robots文件里面禁用掉这类页面,包括还有很多删除栏目的也需要禁用掉这一个栏目的页面。

 

 

版权声明:本文部分内容来自互联网转载整编而成,不代表本站观点和立场,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请在线联系站长,一经查实,本站将立刻删除。

专题推荐