我經(jīng)常遇到這樣的狀況,許多人都來(lái)問(wèn)我:“為啥屏蔽了的頁(yè)面還被抓取?”這兒我簡(jiǎn)單的說(shuō)下吧,一般有兩種狀況:一種是:對(duì)現(xiàn)已錄入的網(wǎng)頁(yè)使用robots屏蔽,老網(wǎng)頁(yè)依照robots規(guī)矩的刪去時(shí)刻會(huì)很長(zhǎng),這個(gè)時(shí)分或許會(huì)形成百度沒(méi)有遵守robots規(guī)矩。第二種狀況是:假如你屏蔽的頁(yè)面或欄目存在大量的外鏈,那么這個(gè)網(wǎng)頁(yè)或欄目的URL會(huì)被百度錄入,但內(nèi)容不會(huì)被百度索引,一般這樣的多見(jiàn)于首頁(yè)域名。當(dāng)然,假如你連URL都不想被錄入,可以針對(duì)蜘蛛回來(lái)404即可。