网站robots限制怎么办快速解决方法

  • 网站robots限制怎么办快速解决方法已关闭评论
  • A+

最近有个朋友和我说,他前段时间向搜索引擎提交了没有正确书写robots.txt文件,从而导致了蜘蛛不能正常抓取网站,造成了不能收录,心里特着急。问我应该怎么处理?其实,robots文件生效需要一定的时间周期,要是现在更改好文件重新放上去的话,估计等蜘蛛反应过来又会浪费一些时间。因此我给他以下几点建议,这个问题得到了快速解决,因此顺便分享这篇文章希望能够帮到更多朋友。

网站robots限制怎么办快速解决方法

最佳解决办法:主动出击。robots正确写法可以参照:网站robots文件写法完整版以及注意事项,这里我就不罗嗦了,具体方法如下:

第一步:把Robots封禁为允许,修改robots限制语法,解禁蜘蛛的访问权限,包括访问所有的网站内部路径,文档改成:User-agent: *     Allow: /    然后到百度站长后台检测并更新Robots

第二步:登陆百度站长后台,手动更新robots.txt文件,告知百度蜘蛛,robots.txt文件已经改好,让其快点来抓取网站。

第三步在百度站长后台进行抓取检测,这个时候通常是显示抓取失败,不过没关系,多点击抓取几次,我们的重点是触发蜘蛛抓取站点。

第四步在百度站长后台抓取频次,申请抓取频次上调,这样有利于加快解禁。

第五步百度反馈中心进行反馈,告知百度原因是由于错误操作导致了这种情况的发生。

第六步百度站长后台链接提交处,设置数据主动推送(实时),加快更新速度。

第七步:手动更新sitemap网站地图,重新做提交,并且每天持续手工提交一次直至恢复正常。

第九步:耐心等待蜘蛛正式来访,但是蜘蛛来过以后,当得知了robots限制已经解除,但百度的工作量很大,没有办法那么快速进行同步,需要一定的恢复周期,这个得有心理准备。

以上这些都处理好了,接下来需要做的就是等待了,一般2天的时间数据就会开始慢慢回升,几天后估计可以回升到正常状态!

注意点:有些站长朋友特别着急,一旦解禁就到处去发布一些垃圾外链,这样操作的话会引起蜘蛛的反弹和注意,从而导致收录变慢,因此错误地以为还没有解禁,这点是需要特别注意的。最后祝大家网站排名越来越好,要是喜欢的话请点个赞。