運(yùn)行平臺:Windows Python版本:Python3.6 ide:Sublime Text 其他工具:chrome瀏覽器
- 獲取單頁內(nèi)容 首先,在Chrome瀏覽器中打開貓眼電影首頁,點(diǎn)擊“榜單”,然后選擇”TOP100榜”,即可查看所需內(nèi)容。
接下來,我們通過編寫代碼來提取網(wǎng)頁的html內(nèi)容。
運(yùn)行結(jié)果如下:
- 使用正則表達(dá)式提取關(guān)鍵信息 在上圖中,我們已經(jīng)標(biāo)記了需要提取的內(nèi)容,下面通過代碼實(shí)現(xiàn)這一步驟:
運(yùn)行結(jié)果如下:
- 存儲獲取的電影信息 在獲取電影信息后,我們需要將這些數(shù)據(jù)保存起來,包括文本信息和電影封面。
保存結(jié)果如下:
- 下載TOP100所有電影信息 通過點(diǎn)擊標(biāo)簽頁,我們發(fā)現(xiàn)只是URL發(fā)生了變化:
修改main函數(shù)以動態(tài)改變URL:
至此,我們已經(jīng)成功獲取了TOP100的電影信息和封面。
以下是普通抓取和多進(jìn)程抓取的時間對比:
以下是完整代碼:
立即學(xué)習(xí)“Python免費(fèi)學(xué)習(xí)筆記(深入)”;