因國內大部分虛擬主機限制了每月的流量，在通過(guò)空間商提供的控制面板查看訪(fǎng)問(wèn)流量時(shí)發(fā)現非瀏覽器瀏覽占去大量的流量，通過(guò)查看：
搜索引擎網(wǎng)站的機器人發(fā)現大量流量是被Unknown robot (identified by ‘spider’)、Unknown robot (identified by 'robot')消耗掉，除了百度，GOOGLE等常見(jiàn)搜索引擎蜘蛛外，有些不知名搜索引擎蜘蛛違規胡亂爬行我們的網(wǎng)站，造成流量被大量消耗和占用CPU資源，導致網(wǎng)站訪(fǎng)問(wèn)速度變慢，超出流量還需要單獨再付費購買(mǎi)流量，給客戶(hù)造成經(jīng)濟負擔。那么我們需要做一些設置將其屏蔽。為客戶(hù)快速解決這個(gè)問(wèn)題。 
robots.txt爬蟲(chóng)協(xié)議 對正規的搜索引擎會(huì )有效，但對一些不知名的搜索引擎可能會(huì )無(wú)效，現在GOOGLE被國內封鎖，如果你的用戶(hù)是國內客戶(hù)，可以將GOOGLE搜索引擎一起屏蔽掉。 以下代碼為：
禁止除百度、360外的一切搜索引擎索引你的網(wǎng)站
User-agent: Baiduspider
User-agent: 360spider
Disallow: User-agent: *
Disallow: /
 在網(wǎng)站根目錄下創(chuàng )建名為robots.txt的記事本文件，把以上代碼的紅色部份放到robots.txt內即可。
User-agent為充許某個(gè)搜索引擎索引你的網(wǎng)站。如要增加搜狗:Sogou web spider、有道:YoudaoBot等，增加User-agent即可。

如果對代碼不熟悉，可以通過(guò)在線(xiàn)生成工具操作生成。http://tool.chinaz.com/robots/