1樓：匿名使用者
disallow: 後面就是跟的你禁止蜘蛛抓取的目錄或檔案 如果全部允許就寫/
2樓：聚名
robots 是站點與 spider 溝通的重要渠道，站點通過 robots 檔案宣告該**中不想被搜尋引擎收錄的部分或者指定搜尋引擎只收錄特定的部分。請注意，僅當您的**包含不希望被搜尋引擎收錄的內容時，才需要使用 robots.txt 檔案。
如果您希望搜尋引擎收錄**上所有內容，請勿建立 robots.txt 檔案。
robots 檔案往往放置於根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以 cr,cr/nl, or nl 作為結束符），每一條記錄的格式如下所示： :
在該檔案中可以使用#進行註解，具體使用方法和 unix 中的慣例一樣。該檔案中的記錄通常以一行或多行 user-agent 開始，後面加上若干 disallow 和 allow 行 , 詳細情況如下：
user-agent:該項的值用於描述搜尋引擎 robot 的名字。在 "robots.
txt" 檔案中，如果有多條- user-agent 記錄說明有多個 robot 會受到 "robots.txt" 的限制，對該檔案來說，至少要有一條 user-agent 記錄。如果該項的值設為 ，則對任何 robot 均有效，在 "robots.
txt" 檔案中，"user-agent:" 這樣的記錄只能有一條。如果在 "robots.
txt" 檔案中，加入 "user-agent:somebot" 和若干 disallow、allow 行，那麼名為 "somebot" 只受到 "user-agent:somebot" 後面的 disallow 和 allow 行的限制。
disallow:該項的值用於描述不希望被訪問的一組 url，這個值可以是一條完整的路徑，也可以是路徑的非空字首，以 disallow 項的值開頭的 url 不會被 robot 訪問。例如 "disallow:
/help" 禁止 robot 訪問
html，而 "disallow:/help/" 則允許 robot 訪問 /help.html、/helpabc.
html，不能訪問 /help/index.html。"disallow:
" 說明允許 robot 訪問該**的所有 url，在 "/robots.txt" 檔案中，至少要有一條 disallow 記錄。如果 "/robots.
txt" 不存在或者為空檔案，則對於所有的搜尋引擎 robot，該**都是開放的。
allow:該項的值用於描述希望被訪問的一組 url，與 disallow 項相似，這個值可以是一條完整的路徑，也可以是路徑的字首，以 allow 項的值開頭的 url 是允許 robot 訪問的。例如 "allow:
/hibaidu" 允許 robot 訪問
html。一個**的所有 url 預設是 allow 的，所以 allow 通常與 disallow 搭配使用，實現允許訪問一部分網頁同時禁止訪問其它所有 url 的功能。
使用 "*"and"$"：baiduspider 支援使用萬用字元 "" 和 "$" 來模糊匹配 url。 "" 匹配 0 或多個任意字元 "$" 匹配行結束符。
robots.txt怎麼寫？robots.txt怎麼設定
3樓：賁德桑詞
robots.txt的使用方法和詳細解釋
robots.txt對於大多數有**優化經驗抄的朋友來說並不算太陌生，用過的朋友肯定會有感受，設定好robots.txt對**優化來說利遠遠大於弊。
今天彭宇誠就與大家分享一下robots.txt的使用方法襲，希望對大家有所幫助。
我們先來認識一下什麼是robots.txt？
我理解的是robots.txt是通過**控制搜尋引擎蜘蛛索引的一個手段，百以便減輕**伺服器的頻寬使用率，從而讓**的空間更穩定，同時也可以提高**其他頁面的索引效率，提高**收錄。
下面我們再來熟悉一下怎樣使度用robots.txt？
首先，我們需要建立一個robots.txt文字檔案，然後在文件內設定好**，告訴搜尋引擎我**的哪些檔案你不能知訪問。然後上傳到**根目錄下面，因為當搜尋引擎蜘蛛在索引一個**時，會先爬行檢視**根目錄下是否有robots.
txt檔案。
robots.txt檔案內的**書寫規範我們也要注意，其中user-agent:*是必須存在的，表示對所有搜尋引擎蜘蛛有效。道disallow:是說明不允許索引哪些資料夾
一個新**，怎麼寫robots協議
4樓：天偉網路公司
user-agent: * 這裡的*代表copy的所有的搜尋引擎種類，bai*是一個通du配符
disallow: /admin/ 這裡定義是禁止爬尋
zhiadmin目錄dao下面的目錄
disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
disallow: /abc 這裡定義是禁止爬尋abc整個目錄
disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為字尾的url(包含子目錄)。
disallow: /*?* 禁止訪問**中所有的動態頁面
disallow: .jpg$ 禁止抓取網頁所有的.jpg格式的**
disallow:/ab/adc.html 禁止爬去ab資料夾下面的adc.html所有檔案
user-agent: * 這裡的*代表的所有的搜尋引擎種類，*是一個萬用字元
allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
allow: .htm$ 僅允許訪問以".htm"為字尾的url。
allow: .gif$ 允許抓取網頁和gif格式**robots.txt檔案用法舉例
倉庫貨架標籤應該怎麼寫
果果和糰子 假設a區10號貨架的第3層第5個貨位，那麼就應該寫成 a100305，字母a表示貨物區域，10表示第幾號貨架，03表示該貨架的第03層，05表示該層的第05個貨位，這樣標識的話，看到這個標籤就可以知道表示的是那個具體位置，不但方便管理，還可以大大提高尋找貨物的效率。 花都辦公傢俱 一般是...
php怎麼寫獲取兩個標籤內的內容的正規表示式啊
php正則提取 img標記中的任意屬性 str php正則提取或更改 img標記中的任意屬性 1 取整個 preg match s img s src s s 1 s i str,match echo match 0 2 取width preg match i str,match echo matc...
衣服標籤上寫的180 100a 42是什麼意思
宋飛正傳 你好，這件衣服適合於 身高180釐米，100胸圍的標準體型，42的肩寬。l 170 92a 大號 適合身高170，胸圍92左右的人穿。xl 175 96a 加大號 適合身高175，胸圍96左右的人穿。xxl 180 100a 超大號 適合身高180，胸圍100左右的人穿。l 170 92a...