比較詳細的robots.txt協議文件寫法

很多建站系統,在建成網站后,都網站根目錄,默認有robots.txt協議文件。在網站優化競爭日益加劇的今天,原本設立之初無優化因素的robots.txt文件也被最大化使用,掌握其寫法,有備無患。

一:robots.txt協議文件有什麼用?

搜尋引擎訪問一個網站的時候,最先訪問的文件就是robots.txt。她告訴搜尋引擎蜘蛛,哪些網站頁面可以被抓取,哪些禁止抓取。表面來看,這個功能作用有限。從搜尋引擎優化的角度來看,可以通過屏蔽頁面,達到集中權重的作用,這,也是優化人員最為看重的地方。

以某seo站點為例,其robots.txt文件如圖所示:

二:網站設置robots.txt的幾個原因。

1:設置訪問許可權保護網站安全。

2:禁止搜尋引擎爬取無效頁面,集中權值到主要頁面。

三:怎麼用標準寫法書寫協議?

有幾個概念需掌握。

User-agent表示定義哪個搜尋引擎,如User-agent:Baiduspider,定義百度蜘蛛。

Disallow表示禁止訪問。

Allow表示運行訪問。

通過以上三個命令,可以組合多種寫法,允許哪個搜尋引擎訪問或禁止哪個頁面。

四:robots.txt文件放在那裡?

此文件需放置在網站的根目錄,且對字母大小有限制,文件名必須為小寫字母。所有的命令第一個字母需大寫,其餘的小寫。且命令之後要有一個英文字元空格。

五:哪些時候需要使用該協議。

1:無用頁面,很多網站都有聯繫我們,使用者協議等頁面,這些頁面相對於搜尋引擎優化來講,作用不大,此時需要使用Disallow命令禁止這些頁面被搜尋引擎抓取。

2:動態頁面,企業類型站點屏蔽動態頁面,有利於網站安全。且多個網址訪問同一頁面,會造成權重分散。因此,一般情況下,屏蔽動態頁面,保留靜態或偽靜態頁面。

3:網站後台頁面,網站後台也可以歸類於無用頁面,禁止收錄有百益而無一害。

發表迴響