從新浪微博訴脈脈不正當獲取用戶數據案，到領英與hiQ Labs的數據之爭……相關司法案例的不斷出現，讓數據爬取問題成為關切。
10月23日，長三角數據合規論壇(第三期)暨數據爬蟲的法律規制研討會在上海舉行。圍繞爬蟲技術對數字產業影響、爬取他人數據的法律邊界及規制等話題，多位法律專家、司法工作者和企業代表展開了研討。
大數據時代，隨著數據價值凸顯，數據爬蟲的應用日益廣泛。多位專家在會上提到，爬蟲技術本身是中立的，但爬蟲技術的應用往往帶有目的，需要考量抓取行為及數據使用是否具有正當性。
“兇猛”的網絡爬蟲，增加網站運營負擔
從技術角度看，爬蟲是通過程序模擬人們上網瀏覽網頁或使用App行為，從而高效抓取網絡信息的過程。對於這項技術，並非所有人都歡迎。
歐萊雅中國數字化負責人劉煜晨在研討會上表示，大多數網站拒絕爬蟲訪問，既有商業利益考量，也出於自身網站運營安全考慮。爬蟲自動持續且高頻地訪問，會導致網站服務器負載飆升，使得壹些中小平臺面臨網站打不開、網頁加載緩慢，甚至直接癱瘓的風險。因此，“網站經營者面對‘兇猛’的網絡爬蟲時往往苦不堪言。”
雖然網站可以采取相應策略或技術手段，防止被爬取數據，但爬蟲者也有更多技術手段來反制，即所謂的反反爬策略。據劉煜晨介紹，反爬和爬取技術壹直在叠代更新——爬取不是問題，關鍵在於願不願意爬和多難爬。通常，越是大廠的App或者網站越難爬，其反爬機制較多。
小紅書法務負責人曾翔觀察發現，惡意爬蟲案例經常發生在內容平臺和電商平臺。在內容上更多被爬取視頻、圖片、文字、用戶行為數據等，在電商領域更多被爬取商家信息和商品信息。
“壹般而言，內容平臺會約定相關內容的知識產權應當歸發布者或發布者與平臺***同所有。未經同意爬取的，涉嫌侵犯知識產權。”曾翔表示，平臺通過投入激發創作者的創造力，如果有人利用爬蟲技術很輕易地獲取內容，並進行抄襲、改編，這損害平臺利益。
提及網絡爬蟲，Robots協議是繞不開的話題——它的全稱是“網絡爬蟲排除標準”，網站通過Robots協議明確警示搜索引擎哪些頁面可以爬取，哪些頁面不能爬取。該協議也被行業稱為搜索領域的“君子協定”。
上海浦東法院知識產權庭法官徐弘韜這樣形容：爬蟲就是壹個訪客，Robots協議是房門上懸掛的請勿入門的告示牌。謙謙君子走近門前看到這個告示牌，會停下腳步，但不法之徒仍可能破門而入。
梳理相關判例，徐弘韜指出，Robots協議是互聯網行業普遍遵循的規則，如果搜索引擎違反Robots協議抓取網站內容，可能會被認定為違背商業道德，構成不正當競爭。但Robots協議解決前置性問題，即抓取行為是否得當，而不解決抓取之後數據使用是否得當的問題。
他進壹步分析，法院在個案件判決中傾向於認為爬蟲技術是具有中立屬性，並尊重網站對於Robots協議設置方式。如果爬取者違背Robots協議進行強行抓取，在正當性評判上可能給予壹定的負面評價。此外Robots協議和行為正當性有關聯，但不是唯壹對立性——即使符合Robots協議抓取，也可能因為後期使用行為被判定為不正當性。
值得壹提的是，網絡爬蟲者對爬取行為進行抗辯時，經常將Robots協議限制爬取與數據流轉聯系起來。
徐弘韜認為，在“互聯互通”的語境下，“有序”和“流轉”同等重要。這需要把握“互聯互通”與數據***享之間的度的問題，同時考慮各互聯網產業經營者采取的Robots協議策略是否可能導致數據孤島局面的出現。
判別爬蟲行為正當性，需考慮多重因素
研討會上，華東政法大學教授張勇對數據爬蟲的危害行為進行了分類。
他稱從數據類型上來看，數據爬取可能侵犯到的權益包括計算機系統安全、個人信息、版權、國家秘密、商業秘密、市場競爭秩序等；從爬取方式來看，數據爬取可能危害到計算機信息系統安全、非法獲取公民個人信息、非法獲取商業秘密、破壞版權技術保護措施等；從爬取結果來看，則存在不正當競爭類、侵犯著作權類、侵犯人格權類等問題。
當數據成為壹種生產要素，數據抓取技術應用場景日益廣泛，隨著而來的爭議糾紛也不斷增多。如何判別爬蟲行為的正當性，從已有的判例中或能找到壹些答案。
今年9月14日，杭州互聯網法院公布壹起爬取微信公眾號平臺數據的不正當競爭案件，判決被告停止數據抓取行為，並賠償微信損失60萬元。
法院審理認為，被告違背誠實信用原則，擅自使用原告征得用戶同意、依法匯集且具有商業價值的數據，並足以實質性替代其他經營者提供的部分產品或服務，損害公平競爭的市場秩序，構成不正當競爭。
在本案中，法院還從“三元目標疊加”的角度分析了爬取行為是否具有正當性。
徐弘韜以此為例提到，對於非搜索引擎爬蟲的正當性判別，主要看被告是否尊重被抓取網站預設的Robots協議、是否破壞被抓取網站的技術措施、是否足以保障用戶數據的安全性，以及衡量創造性與公***利益。
他指出，如果以危害用戶數據安全性為代價抓取數據，且爬蟲技術應用無法創造新的優質資源，僅僅是加重他人服務器負擔，那麽很可能在行為正當性上被給予負面評價。