1robots 檔案 究竟是幹什麼用的

時間 2021-08-30 10:57:48

1樓:手機使用者

搜尋引擎爬去我們頁面的工具叫做搜尋引擎機器人,也生動的叫做「蜘蛛」

蜘蛛在爬去**頁面之前,會先去訪問**根目錄下面的一個檔案,就是robots.txt。這個檔案其實就是給「蜘蛛」的規則,如果沒有這個檔案,蜘蛛會認為你的**同意全部抓取網頁。

robots.txr檔案是一個純文字檔案,可以告訴蜘蛛哪些頁面可以爬取(收錄),哪些頁面不能爬取。

舉個例子:建立一個名為robots.txt的文字檔案,然後輸入

user-agent: * 星號說明允許所有搜尋引擎收錄

disallow: index.php? 表示不允許收錄以index.php?字首的連結,比如index.php?=865

disallow: /tmp/ 表示不允許收錄根目錄下的tmp目錄,包括目錄下的檔案,比如tmp/232.html

2樓:匿名使用者

robots.txt基本介紹

robots.txt是一個純文字檔案,在這個檔案中**管理者可以宣告該**中不想被robots訪問的部分,或者指定搜尋引擎只收錄指定的內容。

當一個搜尋機器人(有的叫搜尋蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜尋機器人就會按照該檔案中的內容來確定訪問的範圍;如果該檔案不存在,那麼搜尋機器人就沿著連結抓取。

另外,robots.txt必須放置在一個站點的根目錄下,而且檔名必須全部小寫。

robots.txt 允許收錄**所有頁面 怎麼寫 20

3樓:

什麼是robots.txt?

搜尋引擎使用spider程式自動訪問網際網路上的網頁並獲取網頁資訊。spider在訪問一個**時,會首先會檢查該**的根域下是否有一個叫做robots.txt的純文字檔案。

您可以在您的**中建立一個純文字檔案robots.txt,在檔案中宣告該**中不想被robot訪問的部分或者指定搜尋引擎只收錄特定的部分。

請注意,僅當您的**包含不希望被搜尋引擎收錄的內容時,才需要使用robots.txt檔案。如果您希望搜尋引擎收錄**上所有內容,請勿建立robots.

txt檔案或者建立一個內容為空的robots.txt檔案。

robots.txt 放置位置

robots.txt檔案應該放置在**根目錄下。舉例來說,當spider訪問一個**(比如http:

//www.180186.com)時,首先會檢查該**中是否存在http:

txt這個檔案,如果 spider找到這個檔案,它就會根據這個檔案的內容,來確定它訪問許可權的範圍。

robots.txt 格式

檔案包含一條或更多的記錄,這些記錄通過空行分開(以cr,cr/nl, or nl作為結束符),每一條記錄的格式如下所示:」:」。

在該檔案中可以使用#進行註解。該檔案中的記錄通常以一行或多行user-agent開始,後面加上若干disallow和allow行,詳細情況如下。

user-agent:

該項的值用於描述搜尋引擎robot的名字。在」robots.txt」檔案中,如果有多條user-agent記錄說明有多個robot會受到」robots.

txt」的限制,對該檔案來說,至少要有一條user-agent記錄。 如果該項的值設為*,則對任何robot均有效,在」robots.txt」檔案中,」user-agent:

*」這樣的記錄只能有一條。如果在」robots.txt」檔案中,加入」user- agent:

somebot」和若干disallow、allow行,那麼名為」somebot」只受到」user-agent:somebot」後面的 disallow和allow行的限制。 disallow:

該項的值用於描述不希望被訪問的一組url,這個值可以是一條完整的路徑,也可以是路徑的非空字首,以disallow項的值開頭的url不會被robot訪問。例 如」disallow: /help」禁止robot訪問/help*.

html、/help/index.html, 而」disallow: /help/」則允許robot訪問/help*.

html,不能訪問/help/index.html。

"disallow:"說明允許robot訪問該**的所有url,在」/robots.txt」檔案中,至少要有一條disallow記錄。

如果」/robots.txt」不存在或者為空檔案,則對於所有的搜尋引擎robot,該**都是開放的。

allow:

該項的值用於描述希望被訪問的一組url,與disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的字首,以allow項的值開頭的url是允許robot訪問的。例如」allow:/hibaidu」允許robot訪問/hibaidu.

一個**的所有url預設是allow的,所以allow通常與disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有url的功能。

需要特別注意的是disallow與allow行的順序是有意義的,robot會根據第一個匹配成功的 allow或disallow行確定是否訪問某個url。

使用」*」和」$」: baiduspider 支援使用萬用字元」*」和」$」來模糊匹配url。 「$」 匹配行結束符。 「*」 匹配0或多個任意字元。

robots.txt檔案用法舉例:

1. 允許所有的robot訪問

user-agent: * allow: / 或者 user-agent: * disallow:

2. 禁止所有搜尋引擎訪問**的任何部分

user-agent: *

disallow: /

3. 僅禁止baiduspider訪問您的**

4. 僅允許baiduspider訪問您的**

5. 禁止spider訪問特定目錄

user-agent: *

disallow: /cgi-bin/

disallow: /tmp/

disallow: /~joe/

6. 允許訪問特定目錄中的部分url

user-agent: *

allow: /cgi-bin/see

allow: /tmp/hi

allow: /~joe/look

disallow: /cgi-bin/

disallow: /tmp/

disallow: /~joe/

7. 使用」*」限制訪問url

禁止訪問/cgi-bin/目錄下的所有以」.htm」為字尾的url(包含子目錄)。

user-agent: *

disallow: /cgi-bin/*.htm

8. 使用」$」限制訪問url

僅允許訪問以」.htm」為字尾的url。

user-agent: *

allow: .htm$

disallow: /

例9. 禁止訪問**中所有的動態頁面

user-agent: *

disallow: /*?*

僅允許抓取網頁,禁止抓取任何**。

11. 僅允許baiduspider抓取網頁和.gif格式**

允許抓取網頁和gif格式**,不允許抓取其他格式**

12. 僅禁止baiduspider抓取.jpg格式**

還有其他不懂,可以看看我寫的方案,應該對你有啟發

4樓:三源茶行

user-agent: *

disallow:

allow: /

怎麼把robots.txt檔案放在**根目錄下?**根目錄是什麼?在哪個位置?能詳細一些嗎

5樓:李明傑

你通過ftp連線你**的空間,這個空間一般就是**的根目錄;

通過ftp直接將robots.txt上傳到空間就行;

**根目錄可以簡單理解為可以放置子目錄或者說資料夾的地方。

6樓:匿名使用者

ftp登陸**後,一般會有資料夾www,進入www資料夾(這才是**的根目錄,**中可以訪問的程式檔案都要放在這個資料夾內),上傳robots.txt到www資料夾內。為了形象說明,見附圖:

7樓:萌起來

**根目錄copy,可以這樣理解:比如你的c盤裡有一個資料夾叫img,img資料夾中有一個123.txt,

c:/ -> img資料夾 -> 123.txt那麼c:盤就是根目錄,img則算是一個子目錄。

**的道理也是一樣,一般來說,

當用ftp連線到**的空間時,直接開啟的就是**的根目錄。

robots.txt必須放在**根目錄中才是有效的,放在子目錄中是無效的。

比如

是正確的。

女人總是夜裡出行,她究竟是幹什麼的

夜幕下的苦難之人,又有哪個老闆總是夜裡出行的,請理解每個人不同的生活方式。有很多工作是有夜班,三班倒的。還有加班到深夜的公司一大把 不必去猜想別人,夜行是人家生存之道,上夜班的工作也很多。為謀生才夜裡出行,擔驚受怕的,誰願意。應該是夜場工作的 她應該是上晚班的工作,如飯店,歌廳,舞廳,酒吧等娛樂場所...

電氣工程及其自動化究竟是幹什麼的

我還想開飛機呢崑山那裡有開飛機的工作。這些東西在國內應用很少,有很多民營企業寧可用更多的人力都不願用這種裝置因為不想依賴這東西.還有中國是廉價勞動力國有人力優勢.會這東西用處不大。 我是 本人是電氣工程及其自動化專業的,不同學校分類不同,我們學校的是強電,很多企業都需要學這個的,只要這個企業需要有自...

審計究竟是幹什麼的,審計到底是做什麼的?

註冊會計師 審計的工作一般包括哪些 漫小妞 審計具體的工作是幹什麼的?審計到底是做什麼的? 註冊會計師 審計的工作一般包括哪些 審計就是對被審計單位的經濟情況 責任履 況 財務情況等做的監督檢查 在我國,審計部門分大致三種,一種是國家審計,一種是單位內部審計,一種是社會審計。審計部門 一般是指國家審...