Menu

robots.txt協議如何使用及寫作語法

西安凡高網絡西安凡高網絡 錄入時間 2016-04-29
一鍵分享
分享到:

如何使用robots.txt及其詳解
 
在國內,網站管理者似乎對robots.txt并沒有引起多大重視,應一些朋友之請求,今天想通過這篇文章來簡單談一下robots.txt的寫作。
 
robots.txt基本介紹
 
robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內容。
 
當一個搜索機器人(有的叫搜索蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。
 
另外,robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。
 
robots.txt寫作語法
 
首先,我們來看一個robots.txt范例:http://www.seovip.cn/robots.txt
 
訪問以上具體地址,我們可以看到robots.txt的具體內容如下:
 
# Robots.txt file from http://www.seovip.cn
# All robots will spider the domain
 
User-agent: *
Disallow:
 
以上文本表達的意思是允許所有的搜索機器人訪問www.seovip.cn站點下的所有文件。
 
具體語法分析:其中#后面文字為說明信息;User-agent:后面為搜索機器人的名稱,后面如果是*,則泛指所有的搜索機器人;Disallow:后面為不允許訪問的文件目錄。
 
下面,我將列舉一些robots.txt的具體用法:
 
允許所有的robot訪問
 
User-agent: *
Disallow:
 
或者也可以建一個空文件 "/robots.txt" file
 
禁止所有搜索引擎訪問網站的任何部分
 
User-agent: *
Disallow: /
 
禁止所有搜索引擎訪問網站的幾個部分(下例中的01、02、03目錄)
 
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
 
禁止某個搜索引擎的訪問(下例中的BadBot)
 
User-agent: BadBot
Disallow: /
 
只允許某個搜索引擎的訪問(下例中的Crawler)
 
User-agent: Crawler
Disallow:
 
User-agent: *
Disallow: /
 
另外,我覺得有必要進行拓展說明,對robots meta進行一些介紹:
 
Robots META標簽則主要是針對一個個具體的頁面。和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣,Robots META標簽也是放在頁面的<head></head>中,專門用來告訴搜索引擎ROBOTS如何抓取該頁的內容。
 
Robots META標簽的寫法:
 
Robots META標簽中沒有大小寫之分,name=”Robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=”BaiduSpider”。 content部分有四個指令選項:index、noindex、follow、nofollow,指令間以“,”分隔。
 
INDEX 指令告訴搜索機器人抓取該頁面;
 
FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去;
 
Robots Meta標簽的缺省值是INDEX和FOLLOW,只有inktomi除外,對于它,缺省值是INDEX,NOFOLLOW。
 
這樣,一共有四種組合:
 
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
 
其中
 
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="ALL">;
 
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="NONE">
 
目前看來,絕大多數的搜索引擎機器人都遵守robots.txt的規則,而對于Robots META標簽,目前支持的并不多,但是正在逐漸增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE還增加了一個指令“archive”,可以限制GOOGLE是否保留網頁快照。例如:
 
<META NAME="googlebot" CONTENT="index,follow,noarchive">
 
表示抓取該站點中頁面并沿著頁面中鏈接抓取,但是不在GOOLGE上保留該頁面的網頁快照。
 
如何使用robots.txt
 
robots.txt 文件對抓取網絡的搜索引擎漫游器(稱為漫游器)進行限制。這些漫游器是自動的,在它們訪問網頁前會查看是否存在限制其訪問特定網頁的 robots.txt 文件。如果你想保護網站上的某些內容不被搜索引擎收入的話,robots.txt是一個簡單有效的工具。這里簡單介紹一下怎么使用它。
 
如何放置Robots.txt文件
 
robots.txt自身是一個文本文件。它必須位于域名的根目錄中并 被命名為"robots.txt"。位于子目錄中的 robots.txt 文件無效,因為漫游器只在域名的根目錄中查找此文件。例如,http://www.example.com/robots.txt 是有效位置,http://www.example.com/mysite/robots.txt 則不是。
 
這里舉一個robots.txt的例子:
 
User-agent: *
 
Disallow: /cgi-bin/
 
Disallow: /tmp/
 
Disallow: /~name/
使用 robots.txt 文件攔截或刪除整個網站 
 
要從搜索引擎中刪除您的網站,并防止所有漫游器在以后抓取您的網站,請將以下 robots.txt 文件放入您服務器的根目錄:
 
User-agent: *
 
Disallow: /
 
要只從 Google 中刪除您的網站,并只是防止 Googlebot 將來抓取您的網站,請將以下 robots.txt 文件放入您服務器的根目錄:
User-agent: Googlebot
 
Disallow: /
 
每個端口都應有自己的 robots.txt 文件。尤其是您通過 http 和 https 托管內容的時候,這些協議都需要有各自的 robots.txt 文件。例如,要讓 Googlebot 只為所有的 http 網頁而不為 https 網頁編制索引,應使用下面的 robots.txt 文件。
對于 http 協議 (http://yourserver.com/robots.txt):
 
User-agent: *
 
Allow: /
 
對于 https 協議 (https://yourserver.com/robots.txt):
 
User-agent: *
 
Disallow: /
 
允許所有的漫游器訪問您的網頁
User-agent: *
 
Disallow:
 
(另一種方法: 建立一個空的 "/robots.txt" 文件, 或者不使用robot.txt。)
 
使用 robots.txt 文件攔截或刪除網頁
 
您可以使用 robots.txt 文件來阻止 Googlebot 抓取您網站上的網頁。 例如,如果您正在手動創建 robots.txt 文件以阻止 Googlebot 抓取某一特定目錄下(例如,private)的所有網頁,可使用以下 robots.txt 條目: 
 User-agent: Googlebot
 
Disallow: /private
要阻止 Googlebot 抓取特定文件類型(例如,.gif)的所有文件,可使用以下 robots.txt 條目:
User-agent: Googlebot
 
Disallow: /*.gif$
要阻止 Googlebot 抓取所有包含 ? 的網址(具體地說,這種網址以您的域名開頭,后接任意字符串,然后是問號,而后又是任意字符串),可使用以下條目:
User-agent: Googlebot
 
Disallow: /*?
 
盡管我們不抓取被 robots.txt 攔截的網頁內容或為其編制索引,但如果我們在網絡上的其他網頁中發現這些內容,我們仍然會抓取其網址并編制索引。因此,網頁網址及其他公開的信息,例如指 向該網站的鏈接中的定位文字,有可能會出現在 Google 搜索結果中。不過,您網頁上的內容不會被抓取、編制索引和顯示。
 
作為網站管理員工具的一部分,Google提供了robots.txt分析工具。它可以按照 Googlebot 讀取 robots.txt 文件的相同方式讀取該文件,并且可為 Google user-agents(如 Googlebot)提供結果。我們強烈建議您使用它。 在創建一個robots.txt文件之前,有必要考慮一下哪些內容可以被用戶搜得到,而哪些則不應該被搜得到。 這樣的話,通過合理地使用robots.txt, 搜索引擎在把用戶帶到您網站的同時,又能保證隱私信息不被收錄。
 
 
       誤區一:我的網站上的所有文件都需要蜘蛛抓取,那我就沒必要在添加robots.txt文件了。反正如果該文件不存在,所有的搜索蜘蛛將默認能夠訪問網站上所有沒有被口令保護的頁面。
 
  每當用戶試圖訪問某個不存在的URL時,服務器都會在日志中記錄404錯誤(無法找到文件)。每當搜索蜘蛛來尋找并不存在的robots.txt文件時,服務器也將在日志中記錄一條404錯誤,所以你應該做網站中添加一個robots.txt。
  誤區二:在robots.txt文件中設置所有的文件都可以被搜索蜘蛛抓取,這樣可以增加網站的收錄率。
  網站中的程序腳本、樣式表等文件即使被蜘蛛收錄,也不會增加網站的收錄率,還只會浪費服務器資源。因此必須在robots.txt文件里設置不要讓搜索蜘蛛索引這些文件。
  具體哪些文件需要排除, 在robots.txt使用技巧一文中有詳細介紹。
  誤區三:搜索蜘蛛抓取網頁太浪費服務器資源,在robots.txt文件設置所有的搜索蜘蛛都不能抓取全部的網頁。
  如果這樣的話,會導致整個網站不能被搜索引擎收錄。
robots.txt使用技巧
   1. 每當用戶試圖訪問某個不存在的URL時,服務器都會在日志中記錄404錯誤(無法找到文件)。每當搜索蜘蛛來尋找并不存在的robots.txt文件時,服務器也將在日志中記錄一條404錯誤,所以你應該在網站中添加一個robots.txt。
 
  2. 網站管理員必須使蜘蛛程序遠離某些服務器上的目錄——保證服務器性能。比如:大多數網站服務器都有程序儲存在“cgi-bin”目錄下,因此在robots.txt文件中加入“Disallow: /cgi-bin”是個好主意,這樣能夠避免將所有程序文件被蜘蛛索引,可以節省服務器資源。一般網站中不需要蜘蛛抓取的文件有:后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。
  下面是VeryCMS里的robots.txt文件:
  User-agent: *
  Disallow: /admin/ 后臺管理文件
  Disallow: /require/ 程序文件
  Disallow: /attachment/ 附件
  Disallow: /images/ 圖片
  Disallow: /data/ 數據庫文件
  Disallow: /template/ 模板文件
  Disallow: /css/ 樣式表文件
  Disallow: /lang/ 編碼文件
  Disallow: /script/ 腳本文件
  3. 如果你的網站是動態網頁,并且你為這些動態網頁創建了靜態副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里設置避免動態網頁被蜘蛛索引,以保證這些網頁不會被視為含重復內容。
  4. robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣:
  Sitemap: sitemap.xml
  目前對此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,顯然不在這個圈子內。這樣做的好處就是,站長不用到每個搜索引擎的站長工具或者相似的站長部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就會抓取robots.txt文件,讀取其中的sitemap路徑,接著抓取其中相鏈接的網頁。
  5. 合理使用robots.txt文件還能避免訪問時出錯。比如,不能讓搜索者直接進入購物車頁面。因為沒有理由使購物車被收錄,所以你可以在robots.txt文件里設置來阻止搜索者直接進入購物車頁面。

網站建設咨詢:029-88661315

經典客戶案例展示

  • 凡高微信公眾號
  • 響應式客戶端

西安凡高網絡科技有限公司
專注于品牌網站建設、集團網站建設、小程序開發、網站營銷推廣業務
服務知名客戶超過2000家

微信制作视频怎么赚钱吗 江苏十一选五走势一定牛 股票指数是怎么计算出来的 网络投资理财平台哪个好 浙江十一选五手机版 湖北快三开奖结果查询 山西快乐10分开奖查询 基金配资 排列五走势图表图 一分钟一开的彩票平台 高手网