官方教你三步轻松解除百度蜘蛛封禁

近期收到一些开发者反馈,为什么网站或智能小程序资源的内容非常优质,但是没有查询到百度蜘蛛抓取记录,或在百度搜索中没有得到收录和展现?

有可能是部分网站或智能小程序存在封禁百度蜘蛛的情况,导致百度蜘蛛无法正常抓取,所以无法在百度搜索中正常收录和展现。

常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。

如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况?快来按照以下方法自查吧~

1、自查robots.txt文件

首先, 开发者们先查看robots.txt文件,是否存在封禁记录。一般robots.txt文件放置在网站根目录下~

【建议方案】如果存在robots封禁的情况,请开发者们及时修改或者删除robots.txt文件。

关于更多robots文件的说明请扫描二维码阅读~

官方教你三步轻松解除百度蜘蛛封禁

2、自查是否封禁百度UA

如果开发者们自查robots.txt文件无异常,可以进一步排查是否存在封禁百度UA情况。

1

执行代码进行自查

执行以下命令进行排查:

curl–head–user-agent’Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)’–request GET ‘xxxxxxx’

xxxxxxx为网站域名如:http://www.abc.com

注意:如果站点正常,不存在封禁百度UA的情况,则其返回码是200,如出现其他返回码为异常。

2

变更浏览器进行UA验证

通过观察站点资源在其他浏览器是否得到正常的抓取和收录,来判断网站是否有封禁百度UA的情况。

【建议方案】查看网站反爬虫策略,进行策略调整,解除百度UA封禁;或者针对百度UA添加策略白名单。

3、自查是否存在IP封禁

如果以上验证均无异常,开发者们则可以排查是否存在IP封禁的情况。

常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。

【建议方案】查看网站反爬虫策略,进行策略调整,解除百度IP封禁。

原文始发于微信公众号(百度搜索资源平台)

去年今日运营文章

  1. 2023:  知名MCN公司企业手册--青藤文化(0)
  2. 2023:  干货《抖音创作全攻略》.pdf(0)
  3. 2023:  十分钟读懂《从0开始做运营2》(0)
  4. 2023:  用户流失预警和召回策略(0)
  5. 2021:  如何搭建属于你自己个人知识体系?(0)

本文转载于微信公众号(百度搜索资源平台),本文观点不代表爱运营立场,转载请联系原出处。如内容、图片有任何版权问题,请联系爱运营处理。

(0)
爱运营的头像爱运营管理员
上一篇 2022年6月9日
下一篇 2022年6月10日

发表回复

登录后才能评论
分享本页
返回顶部