壹、Python爬蟲網絡庫
Python爬蟲網絡庫主要包括:urllib、requests、grab、pycurl、urllib3、:雲端執行R,Python和matlab代碼。
十二、電子郵件
●flanker:電子郵件地址和Mime解析庫;
●Talon:Mailgun庫用於提取消息的報價和簽名。
十三、網址和網絡地址操作
●furl:壹個小的Python庫,使得操縱URL簡單化;
●purl:壹個簡單的不可改變的URL以及壹個幹凈的用於調試和操作的API;
●urllib.parse:用於打破統壹資源定位器(URL)的字符串在組件之間的隔斷,為了結合組件到壹個URL字符串,並將“相對URL”轉化為壹個絕對URL,稱之為“基本URL”;
●tldextract:從URL的註冊域和子域中準確分離TLD,使用公***後綴列表;
●etaddr:用於顯示和操縱網絡地址的Python庫。
十四、網頁內容提取
●ewspaper:用Python進行新聞提取、文章提取和內容策展;
●html2text:將HTML轉為Markdown格式文本;
●python-goose:HTML內容、文章提取器;
●lassie:人性化的網頁內容檢索工具;
●micawber:壹個從網址中提取豐富內容的小庫;
●sumy:壹個自動匯總文本文件和HTML網頁的模塊;
●Haul:壹個可擴展的圖像爬蟲;
●python-readability:arc90 readability工具的快速Python接口;
●scrapely:從HTML網頁中提取結構化數據的庫;
●youtube-dl:壹個從YouTube下載視頻的小命令行程序;
●you-get:Python3的YouTube、優酷/ Niconico視頻下載器;
●WikiTeam:下載和保存wikis的工具。
十五、WebSocket
●Crossbar:開源的應用消息傳遞路由器;
●AutobahnPython:提供了WebSocket協議和WAMP協議的Python實現並且開源;
●WebSocket-for-Python:Python 2和3以及PyPy的WebSocket客戶端和服務器庫。
十六、DNS解析
●dnsyo:在全球超過1500個的DNS服務器上檢查妳的DNS;
●pycares:c-ares的接口。
十七、計算機視覺
●OpenCV:開源計算機視覺庫;
●SimpleCV:用於照相機、圖像處理、特征提取、格式轉換的簡介,可讀性強的接口;
●mahotas:快速計算機圖像處理算法,完全基於 numpy 的數組作為它的數據類型。
十八、代理服務器
●shadowsocks:壹個快速隧道代理,可幫妳穿透防火墻;
●tproxy:tproxy是壹個簡單的TCP路由代理,基於Gevent,用Python進行配置。
十九、其他Python工具列表
●awesome-python
●pycrumbs
●python-github-projects
●python_reference
●pythonidae