robots.txt文件可以有效的屏蔽搜索引擎抓取我們不需要被抓取的頁(yè)面和網(wǎng)站源文件，其中的好處是限制搜索引擎過(guò)多的抓取不必要的內(nèi)容，減少搜索引擎蜘蛛進(jìn)行不必要的網(wǎng)站爬尋分散，也是為了讓我們的網(wǎng)站不必要的內(nèi)容不在搜索引擎被收錄，不讓別人搜索到。 其中什么樣的文件會(huì)被限制抓取呢？

一、是否通過(guò)robots.txt來(lái)屏蔽動(dòng)態(tài)頁(yè)面，減少頁(yè)面的重復(fù)抓??？

其實(shí)個(gè)人建議普通網(wǎng)站不必要進(jìn)行動(dòng)態(tài)頁(yè)面的屏蔽，搜索引擎一般會(huì)自動(dòng)判斷是否重復(fù)，普通網(wǎng)站內(nèi)容并不是非常多，一般出現(xiàn)重復(fù)頁(yè)面的可能性也比較低，如果是信息站和論壇站等建議屏蔽動(dòng)態(tài)頁(yè)面。

二、robots.txt屏蔽特殊頁(yè)面，隱私內(nèi)容的屏蔽。

robots.txt屏蔽特殊頁(yè)面，網(wǎng)站隱私內(nèi)容的屏蔽，其實(shí)對(duì)于一個(gè)網(wǎng)站來(lái)說(shuō)，隱私內(nèi)容比較難實(shí)現(xiàn)，在無(wú)程序支持的前提下，這里說(shuō)的隱私是指一些不想被流傳到互聯(lián)網(wǎng)的內(nèi)容，屏蔽搜索引擎蜘蛛避免在互聯(lián)網(wǎng)被泛濫，如：網(wǎng)絡(luò)培訓(xùn)班培訓(xùn)資料。

三、網(wǎng)站特殊文件夾屏蔽

特殊文件夾一般是指，網(wǎng)站程序安裝文件，動(dòng)態(tài)功能頁(yè)面，多于的文件夾，后臺(tái)功能等。

robots.txt文件的好處剛才也說(shuō)了，就是提供搜索引擎蜘蛛看的，告訴它哪些文件你不要看，不給你的，這是它的優(yōu)點(diǎn)，但是robots.txt在告訴搜索引擎蜘蛛的同時(shí)，也在告訴其他人，這個(gè)網(wǎng)站的隱私，比如：網(wǎng)站后臺(tái)文件夾地址，相信很多站長(zhǎng)都會(huì)在robots.txt上面填寫(xiě)，如：Disallow:/dede/ 從這里我們可以看錯(cuò)應(yīng)該是織夢(mèng)程序，當(dāng)然我們可以更改。

網(wǎng)站屏蔽的安裝文件地址，如：Disallow: /install/ 這一般是程序安裝文件的地址，就算我們后臺(tái)地址更改后一樣能分析出是什么程序做出來(lái)的。

屏蔽網(wǎng)站后臺(tái)登錄地址，如：Disallow: /login.asp  這樣就明顯告訴有心人你的后臺(tái)登錄地址了。

屏蔽網(wǎng)站隱私內(nèi)容，如：Disallow: /123.html  也只是針對(duì)搜索引擎，對(duì)人為我們還是有風(fēng)險(xiǎn)。

上面說(shuō)的幾點(diǎn)都是出于安全性的考慮，那我們還寫(xiě)不寫(xiě)robots.txt呢？

根據(jù)我個(gè)人的操作來(lái)說(shuō)，robots.txt還是要些的，畢竟優(yōu)化很多時(shí)候離不開(kāi)他，但是對(duì)于網(wǎng)站安全我們也要采取一些必要的措施與手段，那我們只能在程序的安全性上做手腳了，但要怎么做這手腳是程序員發(fā)揮作用的時(shí)候了，比如會(huì)員功能等。

其次，為了不告知他人我們的隱私，那么我們可以在robots里用“*”來(lái)隱藏我們的文件名。  

從上圖可以見(jiàn)，我們可以完全不暴露自己的文件名了，同時(shí)也能夠?qū)λ阉饕嬷┲脒M(jìn)行屏蔽！