近日我們上線了“微構(gòu)網(wǎng)絡(luò)項(xiàng)目管理與客戶服務(wù)管理系統(tǒng)”，得到眾多老客戶的一致好評。我們是紅網(wǎng)論壇的技術(shù)服務(wù)商，因此也在系統(tǒng)中把紅網(wǎng)論壇也納入網(wǎng)站狀態(tài)巡查計(jì)劃中，一般情況下即便是普通網(wǎng)站也不太會出現(xiàn)網(wǎng)站訪問異常問題，最多可能是各類預(yù)警級別的信息。然而就在今天收到了系統(tǒng)自動推送的異常信息，發(fā)現(xiàn)異常的項(xiàng)目還是紅網(wǎng)論壇。

當(dāng)時(shí)就很詫異，怎么剛加入巡查網(wǎng)站就出現(xiàn)異常了，怎么回這么巧呢，而且紅網(wǎng)作為較大的媒體網(wǎng)站，不太可能輕易就出現(xiàn)這種異常呀。但細(xì)看系統(tǒng)反饋的結(jié)果是403異常返回碼，而不是直接不能訪問或者50x錯(cuò)誤。

然后用瀏覽器打開紅網(wǎng)論壇，發(fā)現(xiàn)是可以完全正常訪問的。那么系統(tǒng)為啥會反饋這條異常信息的，難道我們的巡查系統(tǒng)誤報(bào)了么（客觀上，會存在誤報(bào)可能，只是幾率很低）。這個(gè)403異常返回碼的預(yù)警信息，在巡查系統(tǒng)中其實(shí)是為了識別某些掛馬代碼會單獨(dú)為了識別百度蜘蛛進(jìn)行惡意跳轉(zhuǎn)的，因此在巡查系統(tǒng)中加入了Baiduspider等識別字符。

通過單元測試后發(fā)現(xiàn)，紅網(wǎng)論壇之所以被巡查系統(tǒng)發(fā)送異常提示，就是因?yàn)楫?dāng)訪問請求中包含了部分百度蜘蛛特征時(shí)，系統(tǒng)就會返回異常。

返回異常返回碼403，在返回body內(nèi)容中出現(xiàn)了這樣的：

也就是被網(wǎng)站使用的防火墻工具（創(chuàng)宇盾）攔截了這種請求，因此網(wǎng)站系統(tǒng)會返回403狀態(tài)碼（即禁止訪問）。

憑借筆者有不少seo方面的經(jīng)驗(yàn)，于是就有兩個(gè)猜想：

1、防火墻會攔截所有來自百度蜘蛛的請求，不管是真實(shí)的百度蜘蛛，還是用于測試來模擬百度蜘蛛訪問。

2、防火墻比較高級，會識別真實(shí)的百度蜘蛛請求（真的蜘蛛）和模擬測試的蜘蛛請求（假的蜘蛛），如果是真實(shí)的不攔截，如果是假的攔截。

為了進(jìn)一步分析，筆者查看了紅網(wǎng)論壇在百度搜索引擎上的表現(xiàn)，發(fā)現(xiàn)收錄的內(nèi)容基本是之前創(chuàng)建的。嘗試了很多條新發(fā)布的內(nèi)容，百度均沒有收錄。測試了數(shù)十條一個(gè)月以內(nèi)發(fā)布的論壇主題，發(fā)現(xiàn)均不被百度收錄。

但是紅網(wǎng)這種影響力的網(wǎng)站，再者這種網(wǎng)站內(nèi)容更新頻率和內(nèi)容質(zhì)量都比較高，而且網(wǎng)站搜索引擎權(quán)重也比較高。理應(yīng)不會有這么差的收錄表現(xiàn)，即便是微構(gòu)網(wǎng)絡(luò)這種企業(yè)官網(wǎng)小網(wǎng)站，幾乎能夠做到95%以上的收錄率，絕大多數(shù)時(shí)間都是100%的收錄率。所以，這顯然不正常。

再看下紅網(wǎng)www主站這種模擬請求，返回狀態(tài)是沒有問題（返回200）。

隨便在主站首頁找一篇內(nèi)容，基本都是全部收錄，而且通過百度快照時(shí)間判斷，收錄時(shí)間很是非?？欤梢哉J(rèn)為是秒收）。

通過以上的信息，基本上可以評估認(rèn)為，只要是帶有百度等搜索引擎蜘蛛的請求標(biāo)識，都會被防火墻攔截。這樣一來，百度蜘蛛都被禁止訪問網(wǎng)站了，自然相關(guān)網(wǎng)站頁面也就不會被百度蜘蛛抓取到，抓取不到自然就不會被收錄了。

所以我們?nèi)粘Ｐ枰P(guān)注自己網(wǎng)站的一些狀態(tài)，比如通過分析網(wǎng)站分析日志，也可以利用一些工具模擬搜索引擎訪問網(wǎng)站，查看返回的信息是否達(dá)到預(yù)期。

如上圖就是某網(wǎng)站訪問日志的部分節(jié)選，這段節(jié)選日志標(biāo)志著百度、谷歌、必應(yīng)等搜索引擎的蜘蛛到訪記錄，且網(wǎng)站返回結(jié)果是200（正常返回碼）。如果這些請求都是異常的，那么顯然網(wǎng)站在搜索引擎的表現(xiàn)不會太好。