User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有的動態頁面
Disallow: .jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有的動態頁面
Disallow: .jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網站建設摘自權威資料，書籍，或網絡原創文章，如有版權糾紛或者違規問題，請即刻聯系我們刪除，我們歡迎您分享，引用和轉載，我們謝絕直接復制和抄襲！感謝...
猜你喜歡
聯絡方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
在永諾科技做一個網站模板需要多少錢
很多人想要做模板網站，其原因是很清楚了，省錢。確實對于開開辦的中小企業，很需要一個模板網站，但是定制費用太高，也限制了我們的定制需求。因此，選擇一個功能強大，制作精美的網...
-
公寓房屋租賃系統小程序軟件開發
一、公寓房屋租賃小程序軟件項目客戶來源介紹 公寓租房租賃小程序軟件針對的人群是年輕人和工作人群，租客利用小程序軟件就能線上找房子。就是因為擁有一個獨立品牌的...
-
個人記賬軟件開發
個人記賬軟件適用于企業和個人，開支比較大的家庭，當然還有個人的日常開銷做記錄的人，開發一款這樣的軟件有助于節省和記錄各種的開支，開發一款這樣的軟件都有什么功能呢，軟件...
-
織夢發布的文章html未生成的原因
今天發布文章的時候，遇到了發布的文章在后臺顯示html文章未生成，為此查了很多相關的問題，終于解決了這個問題。 現在給大家分享一下：我發現了原有的默認模板沒有問題，換成...
-
上門家政服務系統app開發
一、家政app軟件項目客戶來源介紹 這是一位來自順企網搜索到我們企業信息的客戶，客戶說看到你們的家政app軟件信息挺多的，所以就找你們做吧。這就是信息多的好處吧，客戶...
