當前位置:法律諮詢服務網 - 企業資訊查詢 - 網頁內容是json動態生成的,如何抓取?

網頁內容是json動態生成的,如何抓取?

有兩種基本的解決方案來捕獲js動態生成內容的頁面。

1使用dryscrape庫動態抓取頁面

Js腳本由瀏覽器執行並返回信息。因此,捕捉js執行後的頁面的壹個最直接的方法就是用python模擬瀏覽器的行為。Webkit是壹個開源瀏覽器引擎。python提供了很多調用這個引擎的庫,dryscrape就是其中之壹。它調用WebKit引擎來處理包含js等的網頁!

2 selenium web測試框架

Selenium是壹個web測試框架,允許調用本地瀏覽器引擎發送網頁請求,因此也可以實現抓取頁面的要求。

  • 上一篇:萬財鑫信息咨詢是騙局嗎
  • 下一篇:怎麽做微信連接?
  • copyright 2024法律諮詢服務網