AhrefsBot是ahrefs.com的一条网络爬虫,通过抓取网页建立索引库,并提供反向链接分析和服务。AhrefsBot FAQS1、如何禁止AhrefsBot?
AhrefsBot遵守网络规范,如要禁止AhrefsBot,最快捷的方法是打开您的robots.txt,添加如下两行:
user-agent: AhrefsBot
disallow: /
这样,AhrefsBot就不会再抓取您网站的任何内容了。
...
AhrefsBot是ahrefs.com的一条网络爬虫,通过抓取网页建立索引库,并提供反向链接分析和服务。AhrefsBot FAQS1、如何禁止AhrefsBot?
AhrefsBot遵守网络规范,如要禁止AhrefsBot,最快捷的方法是打开您的robots.txt,添加如下两行:
user-agent: AhrefsBot
disallow: /
这样,AhrefsBot就不会再抓取您网站的任何内容了。
...