爬蟲技術是做網絡數據采集的。
網絡爬蟲（又稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是壹種按照壹定的規則，自動地抓取萬維網信息的程序或者腳本。另外壹些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。爬蟲技術最為常見的應用就是獲取網站上的各種信息，例如新聞、價格、評論、用戶信息等等，可以用於數據分析、大數據應用、輿情監測、市場調研等。
隨著網絡的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為壹個巨大的挑戰。搜索引擎（Search Engine），例如傳統的通用搜索引擎AltaVista，Yahoo！和Google等，作為壹個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。
爬蟲技術的應用
1、網絡安全：爬蟲技術可以掃描網絡漏洞、惡意軟件等等，幫助用戶保護其網站和數據安全。
2、信息監測：通過爬蟲技術獲取相關網站信息，可以實現對關鍵詞、競爭對手、行業動態等方面的實時監測，為企業提供最新的市場情報和競爭對手動態。
3、社交網絡：利用爬蟲技術可以快速地獲取用戶個人信息、好友關系、發布的內容等等，為社交網絡服務提供更多的信息和功能，例如推薦好友、個性化廣告等等。
4、機器學習：爬蟲技術可以用於收集大量的數據，為機器學習算法提供數據來源，提高算法的精度和效果。