主页 > 行业动态 >

robots文件怎么设置呢

作者: 站优云SEO优化平台 行业动态 发布时间:2019-01-11 16:54 浏览次数:

    robots文件怎么设置呢?其实大家都知道robots文件是干什么用的。告诉搜索引擎哪些页面抓取哪些页面不抓取。但是主要是禁用哪些页面呢?

    一、动态页面

 

    首先建议把动态页面给禁用掉,搜索引擎很喜欢收录动态页面,但是网站基本给出来的是静态页面地址。容易影响相同页面的排名。

 

    二、跳转页面

 

    跳转页面最好也禁用掉,跳转页面基本都是跳出到其他网站的链接,robos文件禁用掉的话,尽量不收录这类页面。

 

    三、已收录但删除了的页面

 

    因为网站都会涉及到页面删除,但是删除后搜索引擎还是会收录着这些页面的话,我们要在robots文件里面禁用掉这类页面,包括还有很多删除栏目的也需要禁用掉这一个栏目的页面。