修改robots多久生效介绍

 

1.蜘蛛发现robots文件修改并将信息传回

 

2.分析修改前后的robots文件

 

3.删除不允许被收录的索引数据 这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。

 

网结语：通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，那么可能就是robots设置错误了