基礎爬蟲：（1）基礎庫：urllib模塊/requests第三方模塊首先爬蟲就是要從網頁上把我們需要的信息抓取下來的，那麽我們就要學習urllib/requests模塊，這兩種模塊是負責爬取網頁的。這裏大家覺得哪壹種用的習慣就用哪壹種，選擇壹種精通就好了。我推薦讀者使用使用requests模塊，因為這壹種簡便很多，容易操作、容易理解，所以requests被稱為“人性化模塊”。（2）多進程、多線程、協程和分布式進程：為什麽要學著四個知識呢？假如妳要爬取200萬條的數據，使用壹般的單進程或者單線程的話，妳爬取下載這些數據，也許要壹個星期或是更久。試問這是妳想要看到的結果嗎？顯然單進程和單線程不要滿足我們追求的高效率，太浪費時間了。只要設置好多進程和多線程，爬取數據的速度可以提高10倍甚至更高的效率。（3）網頁解析提取庫：xpath/BeautifulSoup4/正則表達式通過前面的（1）和（2）爬取下來的是網頁源代碼，這裏有很多並不是我們想要的信息，所以需要將沒用的信息過濾掉，留下對我們有價值的信息。這裏有三種解析器，三種在不同的場景各有特色也各有不足，總的來說，學會這三種靈活運用會很方便的。推薦理解能力不是很強的朋友或是剛入門爬蟲的朋友，學習BeautifulSoup4是很容易掌握並能夠快速應用實戰的，功能也非常強大。（4）反屏蔽：請求頭/代理服務器/cookie在爬取網頁的時候有時會失敗，因為別人網站設置了反爬蟲措施了，這個時候就需要我們去偽裝自己的行為，讓對方網站察覺不到我們就是爬蟲方。請求頭設置，主要是模擬成瀏覽器的行為；IP被屏蔽了，就需要使用代理服務器來破解；而cookie是模擬成登錄的行為進入網站。
上一篇:寶信軟件(600845)簡介下一篇:什麽是軟件生命周期