我們的觀點

鄭州高端網站建設分享網站robots文件的寫法規則

發表時間:2015-11-26 發布人員:gll

首頁 > 我們的觀點

  要想寫好robots文件,還要明白robots文件標簽的意義與規則,新元色鄭州高端網站建設為大家整理了一份相關內容,如下

 

  user-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符

 

  disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

 

  disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

 

  disallow: /abc/ 這里定義是禁止爬尋abc整個目錄

 

  disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以“。htm”為后綴的url(包含子目錄)

 

  disallow: /*?* 禁止訪問網站中所有的動態頁面

 

  disallow: /jpg$ 禁止抓取網頁所有的。jpg格式的圖片

 

  disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html文件

 

  user-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符

 

  allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄

 

  allow: /tmp 這里定義是允許爬尋tmp的整個目錄

 

  allow: .htm$ 僅允許訪問以“。htm”為后綴的url

 

  allow: .gif$ 允許抓取網頁和gif格式圖片

 

  詳細了解了這些內容之后相信robots文件已經差不多明白了,關于網站建設,關于網站優化,新元色高端網站建設都在這里等你咨詢為您服務建設網站:18837162405       400-090-1630

 

上一篇:營銷型品牌網站建設怎么做 下一篇:鄭州網站建設選擇域名法則
篮彩胜分差盘口怎么看