你是否曾忘記在建站初期編寫robots.txt文件,導(dǎo)致不希望被搜索引擎收錄的內(nèi)容被收錄了呢?別擔心,機器人文件的生效時間其實并不長。百度李透露,雖然不同網(wǎng)站略有差異,但通常只需幾天時間。
想象一下機器人文件生效的過程:蜘蛛發(fā)現(xiàn)文件修改,將信息反饋給搜索引擎,然后分析文件的修改內(nèi)容,最后刪除不允許收錄的索引數(shù)據(jù)。這個過程可能還有其他步驟,但由于蜘蛛的爬行頻率和網(wǎng)站權(quán)重的不同,每個網(wǎng)站蜘蛛發(fā)現(xiàn)變化的時間和處理優(yōu)先級也會有所不同。
所以,機器人文件的生效時間并不固定。如果你發(fā)現(xiàn)機器人文件長時間未生效,可以在百度投訴中心進行反饋。