10年10月23日，長三角數據合規論壇(第三期)暨數據爬蟲法律規制研討會在上海召開。許多法律專家、司法工作者和企業代表就爬蟲技術對數字產業的影響、爬行他人數據的法律邊界和規制等問題展開了討論。
大數據時代，隨著數據價值的凸顯，數據爬蟲的應用日益廣泛。會上很多專家提到，爬蟲技術本身是中性的，但是爬蟲技術的應用往往是有目的的，需要考慮爬行行為和數據使用是否正當。
“兇猛”的網絡爬蟲增加網站運營負擔。
從技術角度來說，爬蟲是通過程序模擬人上網或使用App的行為，從而高效抓取網絡信息的過程。並不是所有人都歡迎這項技術。
歐萊雅中國數字化負責人劉在研討會上表示，大多數網站拒絕爬蟲訪問，既是出於商業利益，也是為了自身網站運營的安全。爬蟲的自動、持續、高頻訪問會導致網站服務器負載飆升，使得壹些中小平臺面臨網站無法打開、網頁加載緩慢，甚至直接癱瘓的風險。因此，“網站運營者經常遭受‘兇猛’的網絡爬蟲。”
雖然網站可以采取相應的策略或者技術手段來防止數據被抓取，但是爬蟲也有更多的技術手段來反制，也就是所謂的反抓取策略。據劉介紹，反爬和爬的技術壹直在叠代更新——爬不是問題，關鍵是妳願不願意爬，爬的難度有多大。壹般越是難爬的大廠App或網站，反爬機制越多。
小紅書法務總監曾翔觀察到，惡意爬蟲案件經常發生在內容平臺和電子商務平臺。更多視頻、圖片、文字、用戶行為數據等。都是在內容中抓取的，在電商領域抓取了更多的商業信息和商品信息。
“壹般來說，內容平臺會約定相關內容的知識產權歸發布者所有，或者發布者和平臺* * *。未經同意抓取涉嫌侵犯知識產權。”曾翔表示，該平臺通過投資激發創作者的創造力。如果有人利用爬蟲技術輕松獲取內容並抄襲改編，就會損害平臺的利益。
說到網絡爬蟲，Robots協議是壹個無法回避的話題——它的全稱是“網絡爬蟲排除標準”。通過Robots協議，網站明確警告搜索引擎哪些頁面可以抓取，哪些頁面不可以抓取。該協議也被業內稱為搜索領域的“君子協定”。
上海浦東法院知識產權庭法官徐紅濤是這樣描述的:爬行動物是訪客，機器人協議是掛在門上的壹塊牌子。謙虛的紳士們走近門口看到這個標誌就會停下來，但是無法無天的人還是有可能破門而入。
梳理相關先例，徐紅濤指出，Robots協議是互聯網行業普遍遵循的規則。如果搜索引擎違反Robots協議抓取網站內容，可能會被認為違反商業道德，構成不正當競爭。而Robots協議解決的是前置問題，即抓取行為是否恰當，但沒有解決抓取後數據是否被恰當使用的問題。
他進壹步分析說，法院傾向於認為爬蟲技術在壹個案件的判決中是中立的，並且尊重網站設置Robots協議的方式。如果爬蟲違反Robots協議強行爬行，可能會對合法性評價給出壹些負面評價。另外，Robots協議與行為的合法性有關，但不是唯壹的對立——即使符合Robots協議，也可能因為後期的使用行為而被判定為不合法。
值得壹提的是，網絡爬蟲在為爬行行為辯護時，往往會將Robots協議與數據流聯系起來。
徐紅濤認為，在“互聯互通”的背景下，“秩序”和“流通”同等重要。這就需要把握好“互聯互通”和數據* * *之間的度，同時考慮各互聯網行業運營商采用的Robots協議策略是否可能導致數據孤島的出現。
判斷爬蟲行為的正當性要考慮多重因素。
在研討會上，華東政法大學教授張勇對數據爬蟲的危害行為進行了分類。
他表示，從數據類型來看，數據抓取可能侵犯的權益包括計算機系統安全、個人信息、著作權、國家秘密、商業秘密、市場競爭秩序等。從抓取的方式來看，數據抓取可能會危及計算機信息系統安全，非法獲取公民個人信息，非法獲取商業秘密，破壞版權技術保護措施。從抓取結果來看，存在不正當競爭、侵犯著作權、侵犯人格權等問題。
當數據成為生產要素時，數據抓取技術的應用場景日益廣泛，隨之而來的爭議也越來越多。如何判斷爬蟲行為的正當性，或許可以從現有的案例中找到壹些答案。
今年9月14日，杭州互聯網法院公布了壹起從微信微信官方賬號平臺抓取數據的不正當競爭案，判令被告停止數據抓取，並賠償微信損失60萬元。
法院認為，被告違反誠實信用原則，未經用戶同意，擅自使用原告收集的具有商業價值的數據，足以實質性替代其他經營者提供的部分產品或者服務，損害了公平競爭的市場秩序，構成不正當競爭。
本案中，法院還從“三元目標疊加”的角度分析了爬行行為是否具有正當性。
以此為例，徐紅濤提到，非搜索引擎爬蟲的合法性主要取決於被告是否尊重被爬取網站預設的Robots協議，破壞被爬取網站的技術措施是否足以保證用戶數據的安全，是否衡量了創造性和公共利益。
他指出，如果以危害用戶數據安全為代價來抓取數據，而爬蟲技術的應用並不能創造新的優質資源，只是增加了別人服務器的負擔，那麽很可能在行為合法性上被給予負面評價。