如何從零基礎開始寫關於搜尋知乎答案的python爬蟲

時間 2021-05-07 20:01:37

1樓:匿名使用者

先把python入門瞭然後寫些簡單的爬蟲,最後到網上找爬蟲高手的**研究學習

如何從零基礎開始寫一個關於搜尋知乎答案的python爬蟲

2樓:死亡

如何從零基礎開始寫一個關於搜尋知乎答案的python爬蟲

3樓:杜爺1號

首先來說爬蟲。

關於爬蟲一個不太嚴謹的理解就是,你可以給爬蟲程式設定一個初始的目標頁面,然後程式返回目標頁面的html文件後,從中提取頁面中的超連結,然後繼續爬到下一個頁面中去。從這些頁面的html文件中可以通過對標籤的處理解析出你想要的具體內容。

所以我們可以這麼來簡單定義一個爬蟲的工作過程:

抓取目標頁面

解析頁面文件獲得目的資訊

繼續爬取下一個頁面

儲存結果

為了實現這些工作,你需要學習一些常用庫的簡單用法,包括但不限於:

urllib、urllib2、urllib.request、cookilib (python的內建庫,用來處理http請求)

requests (第三方庫,推薦使用requests來處理請求,比urllib方便一些)

re、beautifulsoup (正規表示式匹配內容、bs4解析html文件)

其次呢,因為你要跟網頁的原始碼打交道,尤其是解析html文件,所以你最好對html和瀏覽器通訊有點簡單的瞭解,會使用firebug檢視原始碼定位資訊在原始碼中的位置。

落實到題主給出的示例

剛開始學習 python 到可以寫出一個爬蟲大約需要多長時間

4樓:老男孩教育

python爬蟲領域是相對於最好入門的,不過具體多長時間可以寫出來,要根據個人的理解能力以及學習能力來決定,學會python基礎語法之後,幾乎就可以寫出爬蟲。

5樓:匿名使用者

知乎 有個不錯的答案

關於爬蟲入門的回答 很詳細了~~~~

6樓:雨落

看下urllib2、urllib、和beautifulsuop4就可以寫了。如果python基本語法學會的話,用這三個模組實現一個簡易的爬蟲,幾個小時足矣。

7樓:大雪花

可以看看requests,比urllib用起來簡單點

這裡有個簡單的例子

知乎python 爬蟲如何入門學習

8樓:緣lai如茨

入門」是良好的動機,但是可能作用緩慢。如果你手

裡或者腦子裡有一個專案,那麼實踐起來你會被目標驅動,而不會像學習模組一樣慢慢學習。

另外如果說知識體系裡的每一個知識點是圖裡的點,依賴關係是邊的話,那麼這個圖一定不是一個有向無環圖。因為學習a的經驗可以幫助你學習b。因此,你不需要學習怎麼樣「入門」,因為這樣的「入門」點根本不存在!

你需要學習的是怎麼樣做一個比較大的東西,在這個過程中,你會很快地學會需要學會的東西的。當然,你可以爭論說需要先懂python,不然怎麼學會python做爬蟲呢?但是事實上,你完全可以在做這個爬蟲的過程中學習python :

d看到前面很多答案都講的「術」——用什麼軟體怎麼爬,那我就講講「道」和「術」吧——爬蟲怎麼工作以及怎麼在python實現。

先長話短說summarize一下:

你需要學習

基本的爬蟲工作原理

基本的http抓取工具,scrapy

bloom filter: bloom filters by example

如果需要大規模網頁抓取,你需要學習分散式爬蟲的概念。其實沒那麼玄乎,你只要學會怎樣維護一個所有叢集機器能夠有效分享的分散式佇列就好。最簡單的實現是python-rq:

rq和scrapy的結合:darkrho/scrapy-redis · github

後續處理,網頁析取(grangier/python-goose · github),儲存(mongodb)

零基礎小白如何在最短的時間快速入門python爬蟲

9樓:python程式設計大咖

小白要快速入門python爬蟲,很簡單,跟著高手學,報門課程也行,最好能找那種願意給你嘗試學習的,並且有案例實操的,比如上面這個,表白神器

如何用python 寫一個爬蟲用來爬p 站特定標籤下的高贊作品 20

如何使用python爬取知乎資料並做簡單分析

10樓:龍氏風采

一、使用的技術棧:

爬蟲:python27 +requests+json+bs4+time

分析工具: elk套件

開發工具:pycharm

資料成果簡單的視覺化分析

1.性別分佈

如何從零基礎開始學習打籃球,零基礎如何學習打籃球?

從零基礎開始學習打籃球。基礎很重要,尤其剛開始的一些投籃姿勢,運球技巧。如果練得很好的話,對你以後會有很大的幫助。比如說一些人,他投籃姿勢一開始就不好。到後期改正很難的。建議你找專業的訓練師,來陪跟著他訓練,如果你勤奮努力經過。時間一長,你的技術就會越好。 首先你可以去報一個籃球的培訓班。有一個專業...

如何從零開始學習籃球,如何從零基礎開始學習打籃球?

檯球 集錦 籃球教學 帶你從零開始學籃球,教你籃球基礎運球技巧 如何從零基礎開始學習打籃球? 從零基礎開始學習打籃球。基礎很重要,尤其剛開始的一些投籃姿勢,運球技巧。如果練得很好的話,對你以後會有很大的幫助。比如說一些人,他投籃姿勢一開始就不好。到後期改正很難的。建議你找專業的訓練師,來陪跟著他訓練...

零基礎如何學習英語,英語零基礎,如何開始學習英語?

百利天下出國考試 英語零基礎應該從字母 音標開始學起。先認識26個英文字母,做到會讀 會寫。然後再學習音標以及發音規則。這些都是最基本的內容。這些學完了以後就可以學習一些簡單的英語對話,包括日常用語 情景對話等等。這些對話通常故事性比較強也很實用,可以激發學習者的興趣。第三步是學習語法。英語語法比較...