1使用dryscrape庫動態抓取頁面
Js腳本由瀏覽器執行並返回信息。因此,捕捉js執行後的頁面的壹個最直接的方法就是用python模擬瀏覽器的行為。Webkit是壹個開源瀏覽器引擎。python提供了很多調用這個引擎的庫,dryscrape就是其中之壹。它調用WebKit引擎來處理包含js等的網頁!
2 selenium web測試框架
Selenium是壹個web測試框架,允許調用本地瀏覽器引擎發送網頁請求,因此也可以實現抓取頁面的要求。