现在的位置: 首页 google博客 >正文

网站管理员工具推出新的抓取错误提示

今天,我们推出了新的抓取错误提示,以帮助您随时了解自己网站的状态。
 
由于Googlebot会定期访问您的网站,所以我们知道,您的网站何时会出现展示连接问题或出现返回HTTP错误响应代码的失效页面(比如404文件未找到、403禁入、503服务不可用等等)。如果在Googlebot访问时,您的网站出现超时或系统性错误,那么,其他访问者可能也会遇到同样的问题!
 
当我们看到此类错误时,可能会以网站管理员工具信息中心消息的形式,向您发送提示信息,让您知道我们已经检测到的错误。基于这种强化的通信,希望您可以修复潜在问题,以免影响您网站的访问者,或您的网站在搜索结果中的显示效果。
 
正如我们在宣布推出新版网站管理员工具抓取错误功能的博客中所讨论的,我们将抓取错误分为两种类型:网站错误和URL错误。
 
对涉及全站的主要问题的网站错误提示
 
网站错误显示无法连接到您的网站,代表的是系统性问题,而不是与特定网页相关的问题。这里列举了一些可能会导致网站错误的问题:
 
  • 您的DNS服务器关闭或配置错误。

  • 您的Web服务器本身防火墙关闭。

  • 您的Web服务器拒绝来自Googlebot的连接。

  • 您的Web服务器超载,或崩溃。

  • 您的网站的robots.txt无法访问。

 
对于网站来说,这些错误是总体性的问题。理论上,运营良好的网站是不应该出现这些错误的(而且,我们抓取的绝大部分网站也不会出现这样的错误)。如果Googlebot测到这类网站错误为数可观,不管您的网站规模如何,我们都会尽力以息中心消息的形式通知您:
 
网站错误提示示例
 
提示中提供了以下信息:Googlebot在抓取您的网站时遇到的错误数量,您的网站的总体抓取错误连接比率,一个指向网络管理员工具相应版块、用来更加仔细地检查数据的链接地址,以及如何解决该问题的建议。
 
如果您的网站在其中某个类别中显示错误率为100%,这可能意味着您的网站崩溃了或在某个方面配置错误。如果您的网站在任何一个类别中显示错误率小于100%,可能说明这只是一种短暂的情形,但也有可能意味着您的网站超载或配置不当。您可能需要进一步调查这些原因,或到我们的论坛发帖咨询。

即使整体错误率非常低,我们可能也会向您发送提示消息—— 按照以往的经验,一个配置良好的网站不应该出现这些类别中的任何错误。
 
URL错误的异常提示
 
大部分的网站错误表明您的网站可能有配置错误、超载或停止运行的问题,但是,URL错误(返回非200 HTTP代码的页面,或在出现软404错误的情况误返回HTTP 200代码的页面)则可能会发生在任何一个配置良好的网站。因为不同的网站拥有不同的网页数量和外部链接数量,所以有些能引起小网站严重问题的错误数量对于大型网站来说,可能就是完全正常的。
 
因此,对于URL错误来说,只有发现这五大错误类别(服务器错误,软404错误,拒绝访问错误,未发现或未遵循错误)中任何一种错误的数量出现大的上升波动后,我们才发出提示的原因。例如,您的网站通常情况下有100个页面出现404错误,如果这个数字的波动非常小,我们不会向您发送提示消息。然而,当这个计数达到更高的值时,比如5001000,我们可能会通知您。请记住,出现404错误并不总是坏事,因为这是一个健康网站的自然组成部分(请参阅我们以前的博客:404错误损害我的网站吗?)。

 

错误计数出现大幅上升,可能是因为您的网站上某些因素发生变化造成的——或 许是某次重新配置更改了网站上某个版块的权限,或许是某个脚本的新版本常规性崩溃,或许是有人不小心移动或删除了整个目录,又或许是您的网站重组导致外部 链接失效等等。也有可能只是一个短暂的失效,或可能是由外部原因(有人链接到不存在的页面)引起的,所以也有可能根本就不是什么问题;但是当我们看到您的 网站出现不寻常的巨大错误数量时,我们一定会通知您,让您能够就此展开调查:

 
 URL错误异常提示示例
 
提示消息中,列明了我们检测到错误计数急剧增加的网络错误类别,给出了一个指向网络管理员工具相应版块的链接地址,让您可以看到我们认为有问题的那些页面,并提供了排除故障的建议。
 
启用消息转发功能,将提示信息发送到您的收件箱
我们知道您的工作很忙,有时候会忘了查看理员工具,以确认是否有新的提示消息。那么您不妨考虑启用消息转发功能。我们会将所有的网站管理员工具消息发送到您提供的电子邮箱。

请将您的想法告知我们,如果您对我们的新提示有任何意见或建议,请访问我们的论坛发表您的看法。

PS:由此篇文章可以得出,接下去的时间里面,网站内部的结构将变的越来越重要。