在我们优化当中常常会出现:"用户拜访网站正常回来而蜘蛛抓取回来为404,怎么办?"我在想应该是做了屏蔽之类操作,让蜘蛛无法正常抓取,恰好这些天在研讨baidu站长学院的有关文章,看到了关于页面抓取过错的因素和处理方法,今日就整理一下:

    百度蜘蛛抓取

    1、效劳器衔接反常

    效劳器衔接反常会有两种状况:一种是站点不稳定,Baiduspider测验衔接您网站的效劳器时呈现暂时无法衔接的状况;一种是Baiduspider一向无法衔接上您网站的效劳器.

    剖析处理:形成效劳器衔接反常的因素通常是您的网站效劳器过大,超负荷运转.也有也许是您的网站运转不正常,请查看网站的web效劳器(如apache、iis)是不是装置且正常运转,并运用浏览器查看主要页面能否正常拜访.您的网站和主机还也许阻挠了Baiduspider的拜访,您需求查看网站和主机的防火墙.

    2、网络运营商反常 网络运营商分电信和联通两种,Baiduspider经过电信或网通无法拜访您的网站.

    剖析处理:假如呈现这种状况,您需求与网络效劳运营商进行联络,或许采购拥有双线效劳的空间或许采购cdn效劳.

    3、DNS反常 当Baiduspider无法解析您网站的IP时,会呈现DNS反常.也许是您的网站IP地址过错,或许域名效劳商把Baiduspider封禁.

    剖析处理:请运用WHOIS或许host查询自个网站IP地址是不是正确且可解析,假如不正确或无法解析,请与域名注册商联络,更新您的IP地址.

    4、IP封禁 IP封禁为:约束网络的出口IP地址,制止该IP段的运用者进行内容拜访,在这里特指封禁了BaiduspiderIP.当您的网站不期望Baiduspider拜访时,才需求该设置.

    剖析处理:假如您期望Baiduspider拜访您的网站,请查看有关设置中是不是误添加了BaiduspiderIP.也有也许是您网站所在的空间效劳商把baiduIP进行了封禁,这时您需求联络效劳商更改设置.

    5、UA封禁 UA即为用户署理(User-Agent),效劳器经过UA辨认拜访者的身份.当网站关于指定UA的拜访,回来反常页面(如403,500)或跳转到别的页面的状况,即为UA封禁.

    剖析处理:当您的网站不期望Baiduspider拜访时,才需求该设置,假如您期望Baiduspider拜访您的网站,useragent有关的设置中是不是有Baiduspider UA,并及时修正.

    6、死链 页面现已无效,无法对用户供给任何有价值信息的页面就是死链接,包含协议死链和内容死链两种方式:

    协议死链:页面的TCP协议状况/HTTP协议状况清晰表明的死链,多见的如404、403、503状况等.

    内容死链:效劳器回来状况是正常的,但内容现已变更为不存在、已删去或需求权限等与原内容无关的信息页面.

    剖析处理:关于死链,咱们主张站点运用协议死链,并经过baidu站长渠道–死链东西向baidu提交,以便baidu更快地发现死链,削减死链对用户以及查找引擎形成的负面影响.

    7、反常跳转 将网络恳求从头指向别的方位即为跳转.反常跳转指的是以下几种状况:

    1)当时该页面为无效页面(内容已删去、死链等),直接跳转到前一目录或许主页,baidu主张站长将该无效页面的进口超链接删去掉

    2)跳转到犯错或许无效页面

    注意:关于长时间跳转到别的域名的状况,如网站替换域名,baidu主张运用301跳转协议进行设置.8,别的反常

    1)关于baidurefer的反常:页面关于来自baidu的refer回来不同于正常内容的做法.

    2)关于baiduua的反常:页面对baiduUA回来不同于页面原内容的做法.

    3)JS跳转反常:页面加载了baidu无法辨认的JS跳转代码,使得用户经过查找结果进入页面后发生了跳转的状况.

    4)压力过大导致的偶尔封禁:baidu会依据站点的规划、拜访量等信息,主动设定一个合理的抓取压力.但是在反常状况下,如压力操控异常时,效劳器会依据本身负荷进行保护性的偶尔封禁.这种状况下,请在回来码中回来503(其含义是"Service Unavailable"),这么Baiduspider会过段时间再来测验抓取这个链接,假如网站已空闲,则会被成功抓取.

版权声明：本文部分内容来自互联网转载整编而成，不代表本站观点和立场，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请在线联系站长，一经查实，本站将立刻删除。