站优云 > 行业动态 >

网站SEO优化之蜘蛛不爬行原因分析!

作者: 行业动态 发布时间:2020-05-29 10:43 浏览次数:103

  Seo优化工作很多新手会问为什么我的网站百度不收录,网站日志里怎么都没有蜘蛛,如果说新站出现这种情况的话那还算正常。 下面上海网站建设公司舰创科技整理可能的原因供您分析下是否您网站出现了一下问题。

 

 

  一、你把蜘蛛屏蔽了

 

 

  如果你自己主动把蜘蛛屏蔽了,那么想当然的蜘蛛不可能来抓取你的网站。

 

 

  1、屏蔽蜘蛛简单的方法就是robots.txt,任何一个搜索引擎都明确说明了robots.txt可以屏蔽掉他们的蜘蛛。

 

 

  让你的网站处于保密状态,所以安装好程序,在网站正式上线时一定要坚持下robots.txt,有时候有可能书写错误导致屏蔽,也可能是因为你建造之初自己屏蔽了来检测网站。

 

 

  2、服务商屏蔽蜘蛛,这种情况也发生过,蜘蛛过多的爬行网站,导致服务器认为是DOOS攻击自动把蜘蛛IP给屏蔽了,这种情况经常让网站被K。

 

 

  如果是这种情况直接换服务商吧,不然服务商解决完毕你网站早已经被K掉了。

 

 

  网站优化之蜘蛛不爬行原因分析

 

 

  二、蜘蛛把你屏蔽了

 

 

  1、在注册域名的时候,看看自己的域名以前是否被使用过,如果域名以前被搜索引擎处罚甚至K过站的,那么蜘蛛不来是很正常的事,特别是如果域名以前是做违法的,蜘蛛这辈子都可能不再来了。

 

 

  2、看看与自己同IP的网站是否有被处罚过的站点,也许这个站点已经严重违规被K站了,那么搜索引擎有自动屏蔽整个服务器的功能,

 

 

  个人建议:使用独立IP,有利于SEO。

 

 

  如果是正常优化中的网站遇到网站日志中没有蜘蛛的话那就要好好的分析下上面列出来的问题了。

 

 

  同时在网站优化过程中要不断有序的增加高质量外链建设。以起到引蜘蛛的作用。

 

 

  三、要学会善于用软件分析网站日志了解蜘蛛爬行规律;

 

 

  要学会用软件分析蜘蛛爬行那个文件夹,爬行次数等;比如说现在比较常用的光年软件就是分析日志的,爱站也有网站日志分析功能;

 

 

  网站日志分析工作对老站长来说是非常容易的,从日志代码的查看到日志分析出的问题解决是了如指掌。

 

 

  其实网站日志分析不难,只是新手不了解其中的意思,才会觉得有问题。慢慢看多了网站日志你也就懂了其中的意思。

 

 

版权声明:本文部分内容来自互联网转载整编而成,不代表本站观点,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请在线联系站长,一经查实,本站将立刻删除。

专题推荐